Catatan Tutorials

Me-review kode buatan AI

Alat AI menulis kode yang meyakinkan dalam hitungan detik. Meyakinkan tidak sama dengan benar. Cara me-review kode hasil AI dengan standar yang sama seperti kode lain: baca terhadap kebutuhannya, jalankan, kunci harapan dengan tes, periksa apa yang disembunyikannya, pastikan paket dan API-nya benar-benar ada, dan bertanggung jawab atas apa yang Anda merge.

7 menit bacaTersedia juga dalam bahasa Inggris →

Banyak bagian sebelumnya ditutup dengan catatan tentang alat AI: periksa apa yang ditangkap (bagian 13), baca diff-nya (bagian 16), tanyakan apa yang terjadi kalau dua request berjalan bersamaan (bagian 21). Bagian ini merangkum catatan-catatan itu.

Alat AI untuk coding memang berguna. Alat ini menulis boilerplate, menyarankan pendekatan, menjelaskan kode yang asing, dan menghasilkan draf pertama lebih cepat daripada siapa pun mengetik. Masalahnya, drafnya selalu terlihat selesai. Bisa dikompilasi, rapi, namanya masuk akal, ada docstring-nya. Apakah kodenya benar adalah pertanyaan lain, dan menjawabnya kini menjadi bagian pekerjaan yang lebih besar.

Standar yang sama seperti kode lain

Me-review kode hasil AI bukan keterampilan baru. Ini code review, diterapkan pada penulis yang cepat, percaya diri, dan belum pernah melihat data production Anda.

Panduan code review Google yang terbuka untuk publik adalah pegangan yang baik. “The most important thing to cover in a review is the overall design of the CL.” Hal terpenting dalam review adalah desain perubahannya secara keseluruhan. Soal kompleksitas: “Is the CL more complex than it should be?”, dengan ““Too complex” usually means “can’t be understood quickly by code readers.”” Terlalu rumit biasanya berarti tidak bisa cepat dipahami pembaca kode. Soal tes: “Will the tests actually fail when the code is broken?” Apakah tesnya benar-benar gagal kalau kodenya rusak? Dan standar umumnya: reviewer “should favor approving a CL once it is in a state where it definitely improves the overall code health” dari sistemnya, yaitu setujui saat perubahan itu jelas membuat kesehatan kode secara keseluruhan lebih baik.

Kalimat terakhir itu penting: tujuannya bukan kode yang sempurna. Tujuannya kode yang Anda pahami, yang melakukan apa yang diminta, yang tidak merugikan pengguna, dan yang membuat codebase lebih baik, bukan lebih buruk.

Draf pertama yang meyakinkan

Ini tugasnya: “Impor pesanan dari file CSV ke database dan kembalikan totalnya.” Di bawah ini jenis draf pertama yang mudah didapat dari asisten mana pun, atau dari manusia yang sedang terburu-buru. (Saya menulisnya untuk menunjukkan pola yang umum; ini bukan output dari alat tertentu.)

def import_orders(csv_path, db):
    """Import orders from CSV into the database."""
    total = 0.0
    with open(csv_path) as f:
        for row in csv.DictReader(f):
            try:
                amount = float(row["qty"]) * float(row["price"])
                db.execute(f"INSERT INTO orders (customer, amount) VALUES ('{row['customer']}', {amount})")
                total += amount
            except Exception:
                pass
    db.commit()
    return total

Enak dibaca. Bahkan “menangani error”. Jalankan pada empat baris:

customer,qty,price
Ana,2,85000
Budi,10,4000
Siti O'Neil,1,35000
Dewi,3x,12000
returned total: 210000.0
rows saved: [('Ana', 170000.0), ('Budi', 40000.0)]

Dua dari empat baris hilang, dan tidak ada yang memberi tahu. 3x milik Dewi memang tidak valid, jadi wajar ditolak, tapi seharusnya dilaporkan. Baris Siti valid: tanda petik di O'Neil merusak string SQL, except menelan error-nya, dan pesanan pelanggan sungguhan lenyap. Celah yang sama memungkinkan nama yang dirancang khusus mengubah query-nya (bagian 19).

Me-review baris demi baris

Memeriksa draf itu dengan pertanyaan-pertanyaan dari seri ini:

Yang dicek Di draf Bagian
Apakah melakukan yang diminta, untuk setiap input? Membuang baris valid diam-diam 9
Apakah error terlihat? except Exception: pass menyembunyikan semuanya 13
Apakah data dipisah dari kode? SQL disusun dengan f-string 19, 22
Tipe yang tepat? float untuk uang 2
Semua atau tidak sama sekali? Impor setengah jadi kalau crash di tengah 19
Encoding dan penanganan file? Tanpa encoding, tanpa newline="" 2
Bisakah pemanggil tahu apa yang terjadi? Hanya mengembalikan satu float, tanpa error, tanpa jumlah 7

Tidak ada yang aneh-aneh. Semuanya fundamental. Itulah inti seri ini: review hanya sebaik apa yang diketahui reviewer untuk dicari.

Kunci harapannya dengan tes

Sebelum mengubah apa pun, tuliskan arti “benar” sebagai tes (bagian 14). Tesnya pendek, dan mengubah perasaan samar menjadi pemeriksaan yang gagal:

def test_name_with_apostrophe_is_saved(impl):
    db = fresh_db()
    impl.import_orders("orders.csv", db)
    names = [r[0] for r in db.execute("SELECT customer FROM orders")]
    assert "Siti O'Neil" in names

def test_bad_rows_are_reported_not_hidden(impl):
    result = impl.import_orders("orders.csv", fresh_db())
    assert hasattr(result, "errors") and len(result.errors) == 1

Terhadap drafnya:

E       assert "Siti O'Neil" in ['Ana', 'Budi']
E       AssertionError: assert (False)
FAILED test_import.py::test_name_with_apostrophe_is_saved[draft]
FAILED test_import.py::test_bad_rows_are_reported_not_hidden[draft]

Meminta alat AI untuk “menulis tes” untuk kodenya sendiri itu berguna, tapi pastikan tesnya menggambarkan apa yang Anda butuhkan, bukan sekadar apa yang sudah dilakukan kodenya. Lagi-lagi dari panduan Google: “Tests do not test themselves, and we rarely write tests for our tests—a human must ensure that tests are valid.” Tes tidak mengetes dirinya sendiri; manusia yang harus memastikan tesnya valid.

Versi setelah di-review

def parse_row(line_no, row):
    try:
        qty, price = int(row["qty"]), int(row["price"])
    except (KeyError, ValueError):
        raise ValueError(f"line {line_no}: qty and price must be whole numbers, got {row!r}")
    if qty < 1 or price < 0:
        raise ValueError(f"line {line_no}: qty must be >= 1 and price >= 0")
    return row["customer"].strip(), qty * price


def import_orders(csv_path, db):
    """Import orders from a CSV file. Valid rows are saved in one transaction;
    invalid rows are reported, not silently dropped."""
    result = ImportResult()
    rows = []
    with open(csv_path, newline="", encoding="utf-8") as f:
        for line_no, row in enumerate(csv.DictReader(f), start=2):
            try:
                rows.append(parse_row(line_no, row))
            except ValueError as e:
                result.errors.append(str(e))
    with db:
        db.executemany("INSERT INTO orders (customer, amount) VALUES (?, ?)", rows)
    result.saved = len(rows)
    result.total = sum(amount for _, amount in rows)
    return result

Placeholder, rupiah bulat, exception yang spesifik dengan nomor baris dan nilainya, satu transaksi, dan hasil yang menyebutkan apa yang tersimpan dan apa yang tidak. Tes yang sama:

2 failed, 3 passed in 0.02s

Dua kegagalan itu milik draf; ketiga pemeriksaan terhadap versi yang sudah di-review lulus, termasuk saved == 3, total == 245000, dan pesan error line 5: qty and price must be whole numbers, got {...'qty': '3x'...}. Kodenya lebih panjang dari draf, dan itu tidak masalah (bagian 17).

Anda bisa sampai ke versi ini lewat prompt juga: “pakai placeholder, laporkan baris tidak valid dengan nomor barisnya, pakai integer untuk uang, satu transaksi”. Tapi Anda hanya bisa meminta hal-hal itu kalau Anda tahu itu penting.

Pastikan semuanya benar-benar ada

Kode hasil AI kadang memakai fungsi, opsi, atau bahkan paket yang tidak ada, atau ada di versi yang berbeda. Sebuah studi tahun 2024, “We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs”, menguji 16 model dan menemukan “the average percentage of hallucinated packages is at least 5.2% for commercial models and 21.7% for open-source models”: rata-rata paket “halusinasi” minimal 5,2% untuk model komersial dan 21,7% untuk model open-source, “including a staggering 205,474 unique examples of hallucinated package names”, termasuk 205.474 nama paket halusinasi yang unik.

Ini masalah keamanan, bukan sekadar merepotkan: kalau seseorang mendaftarkan paket dengan nama yang sering dihalusinasikan, pip install atau npm install akan mengunduhnya dengan senang hati (bagian 22). Sebelum memasang paket yang disarankan, pastikan paket itu ada, memang yang Anda maksud, dan masih dirawat:

$ pip index versions requests
requests (2.34.2)

$ pip index versions csv-order-importer-pro
ERROR: No matching distribution found for csv-order-importer-pro

Hal yang sama berlaku untuk API dan opsi: kalau sebuah fungsi atau flag yang disarankan terlihat asing, cari di dokumentasi resmi untuk versi yang Anda pakai. Lima detik membaca dokumentasi jauh lebih murah daripada satu jam men-debug method yang tidak pernah ada.

Daftar periksa untuk kode hasil AI

  1. Rumuskan ulang kebutuhannya. Apa persisnya yang harus dilakukan, termasuk kasus-kasus tepi? Apakah kodenya melakukan itu, atau sesuatu yang mirip?
  2. Baca setiap baris. Kalau Anda tidak bisa menjelaskan sebuah baris, jangan merge (bagian 12). Minta alatnya menjelaskan, lalu verifikasi penjelasannya.
  3. Jalankan dengan input sungguhan dan input yang menyulitkan: kosong, sangat besar, Unicode, tanda petik, angka negatif, duplikat.
  4. Tulis atau periksa tes yang akan gagal kalau kodenya salah.
  5. Cari kegagalan yang tersembunyi: try/except yang luas, catch (e) {}, nilai default yang menutupi error, status yang tidak dicek (bagian 13, 20).
  6. Periksa keamanan: validasi input, placeholder, escaping, otorisasi, rahasia, keacakan (bagian 22).
  7. Concurrency dan skala: check-then-act, query di dalam loop, O(n²) yang bersembunyi di balik data tes yang kecil (bagian 10, 21).
  8. Dependensi dan API benar-benar ada, di versi yang Anda pakai.
  9. Cocok dengan codebase: penamaan, struktur, konvensi (bagian 11). Kode hasil AI cenderung membawa gayanya sendiri.
  10. Baca diff akhirnya sebelum commit (bagian 16), dan commit dulu sebelum membiarkan alat membuat perubahan besar, supaya bisa dibatalkan.

Bekerja bersama AI, bukan hanya sesudahnya

Review jadi lebih mudah kalau permintaannya baik:

  • Minta potongan kecil, bukan fitur utuh. “Tulis parse_row(line_no, row) yang mengembalikan (customer, amount) atau melempar ValueError dengan nomor baris” bisa di-review. “Buatkan fitur impor” tidak (bagian 9).
  • Beri konteks: versi bahasa, framework, konvensi yang sudah ada, batasan seperti “uang dalam rupiah bulat (integer)”.
  • Minta tes dan kasus tepi, lalu periksa.
  • Minta ia me-review kode Anda atau kodenya sendiri berdasarkan daftar seperti di atas. Sering kali ia pandai menemukan masalah kalau diminta langsung; keputusannya tetap di tangan Anda.
  • Jangan terima yang tidak Anda pahami. “Jalan” tidak sama dengan “saya tahu kenapa ini jalan”.

Pada akhirnya aturannya sederhana: kalau Anda yang merge, Anda yang bertanggung jawab. Alatnya tidak ditelepon jam 3 pagi; Anda yang ditelepon.

Kenapa ini penting sehari-hari

  • Kode yang dihasilkan makin banyak dari sebelumnya, jadi kode yang perlu di-review juga makin banyak. Me-review menjadi sama pentingnya dengan menulis.
  • Bug yang terlihat masuk akal adalah yang mahal. Kode ngawur yang jelas akan ketahuan; except: pass yang terlihat rapi lolos ke production.
  • Fundamental adalah daftar periksanya. Setiap butir di atas terhubung dengan satu bagian di seri ini.
  • Kecepatan baru nyata kalau hasilnya benar. Sepuluh menit review lebih murah daripada pesanan yang hilang atau database yang bocor.

Coba sendiri

  1. Minta alat AI membuat impor CSV seperti di bagian ini. Review jawabannya dengan daftar periksa. Berapa butir yang lolos?
  2. Tulis dua tes dari bagian ini lebih dulu, lalu minta alatnya membuat tes itu lulus. Apakah ia mengubah tesnya alih-alih kodenya?
  3. Ambil satu nama paket yang baru-baru ini disarankan alat AI dan cek: apakah ada, siapa yang merawatnya, dan kapan rilis terakhirnya.
  4. Minta alat AI me-review sebuah fungsi yang Anda tulis, lalu putuskan saran mana yang Anda setujui dan kenapa.

Ringkasan

  • Kode hasil AI terlihat selesai; apakah ia benar adalah tugas Anda untuk memutuskan.
  • Review seperti kode lain: desain, kebenaran, kompleksitas, tes, dan apakah ia membuat codebase lebih baik.
  • Jalankan dengan input yang menyulitkan dan kunci harapan dengan tes yang gagal kalau kodenya salah.
  • Cari kegagalan tersembunyi, celah keamanan, tipe yang salah, dan transaksi yang terlupa.
  • Pastikan paket dan API ada di versi Anda; paket halusinasi adalah risiko rantai pasok yang nyata.
  • Minta potongan kecil yang jelas spesifikasinya, dan jangan merge apa yang tidak bisa Anda jelaskan.
  • Kalau Anda yang merge, Anda yang bertanggung jawab.

Referensi