Belajar AI - Evaluasi Model & Etika AI

#Pendahuluan

Setelah di episode 7 kalian memahami cara kerja LLM dan ekosistem model 2026, episode ini membahas keterampilan yang paling jarang dimiliki engineer AI pemula: mengevaluasi model secara jujur dan memahami dimensi etika & regulasi. Keduanya bukan topik "nice-to-have" — mereka adalah pembeda antara demo yang mengesankan dan sistem yang layak produksi.

Mengapa episode ini penting? Karena model yang tidak dievaluasi adalah kotak hitam yang tidak bisa dipertanggungjawabkan. Di dunia nyata, sistem AI yang bias atau berhalusinasi bisa menolak kredit orang, salah mendiagnosis, atau menyesatkan keputusan bisnis. Regulasi seperti EU AI Act menjadikan evaluasi & governance sebagai kewajiban hukum, bukan sekadar praktik baik.

#Mengevaluasi Model Klasik

#Validation Set dan Cross-Validation

Di episode 4 kita belajar split train/test. Masalahnya: jika kalian mencoba banyak hyperparameter dan memilih yang terbaik di test set, test set menjadi "kotor" — ia bocor ke proses tuning. Solusinya adalah validation set: split tiga arah.

• Train: fit model.
• Validation: memilih hyperparameter & membandingkan model.
• Test: dievaluasi sekali saja di akhir, untuk mengukur performa di dunia nyata.

Untuk dataset kecil, k-fold cross-validation lebih baik: data dibagi k bagian, model dilatih k kali (tiap kali dengan satu bagian sebagai validasi), lalu rata-ratakan skornya.

#Bias vs Variance

Dua jenis kegagalan model yang harus dibedakan:

Keseimbangan keduanya adalah seni utama ML: model harus cukup kompleks untuk menangkap pola (rendah bias), tapi cukup sederhana untuk berlaku umum (rendah variance). Inilah yang disebut trade-off bias-variance.

#Mengevaluasi LLM

LLM menghadirkan tantangan evaluasi baru karena tidak ada satu "jawaban benar". Pendekatannya berlapis:

#Metrik Otomatis

• Groundedness / faithfulness: seberapa jauh jawaban didukung oleh sumber yang diberikan (kritis untuk RAG, episode 13).
• Answer relevance: seberapa relevan jawaban terhadap pertanyaan.
• Context recall / precision: seberapa baik dokumen yang di-retrieve mencakup informasi yang dibutuhkan.
• Hallucination rate: proporsi klaim yang tidak didukung sumber.

#Evaluasi Manusia dan LLM-as-a-Judge

Untuk kualitas yang sulit diukur otomatis, gunakan evaluator manusia pada sampel kecil, atau LLM-as-a-judge — memakai LLM lain untuk menilai kualitas jawaban dengan rubrik tertentu. Teknik yang terakhir ini murah dan cukup konsisten, asalkan rubriknya jelas:

Rubrik penilaian:
- Informativeness: 0-5, apakah jawaban menjawab pertanyaan
- Groundedness: 0-5, apakah klaim didukung konteks
- Helpfulness: 0-5, apakah memandu pengguna

#Etika & Regulasi AI

#Bias dan Fairness

Bias terjadi ketika model mempelajari prasangka dari data pelatihan — dan karena data pelatihan adalah cermin dunia, bias itu nyata. Contoh klasik: sistem rekrutmen yang menolak kandidat perempuan karena data historis didominasi laki-laki. Model tidak "jahat"; ia belajar pola yang memang ada di data.

Praktik fairness: audit data untuk representasi yang timpang, uji model pada sub-kelompok berbeda, dan ukur kesenjangan metrik antar kelompok (misal false positive rate per kelompok umur).

#Privacy

Model mempelajari pola dari data pribadi. Risiko: data sensitif bocor lewat training, atau bisa ditebak dari output (contoh: model yang mengulang teks yang hampir sama dengan data training). Praktiknya: minimalkan data, anonimkan sebelum dipakai, dan — untuk data sangat sensitif — hindari mengirimnya ke API pihak ketiga (pilih model self-host). Tema ini diperdalam di episode 17.

#Responsible AI

Kerangka kerja yang menyatukan semuanya:

1. Transparansi: dokumentasi kemampuan & keterbatasan model (model cards).
2. Fairness: audit bias lintas kelompok.
3. Accountability: ada pemilik yang bertanggung jawab atas dampak sistem.
4. Robustness: performa stabil di kondisi beragam, tidak mudah diserang (episode 16).
5. Human oversight: keputusan penting tetap ada manusia di loop.

#EU AI Act dan NIST AI RMF

EU AI Act adalah regulasi komprehensif pertama dunia: ia mengklasifikasikan sistem AI menjadi risiko tidak dapat diterima, tinggi, terbatas, dan minimal — sistem berisiko tinggi (misal rekrutmen, kredit, kesehatan) menghadapi kewajiban evaluasi, logging, dan pengawasan manusia. OWASP GenAI LLM Top 10 2026 melengkapi dari sisi teknis keamanan (episode 16).

#Common Pitfalls

• Menilai model hanya dari demo: demo memakai kasus yang mudah; evaluasi harus memakai kasus yang sulit dan beragam.
• Memakai test set berulang kali: test set jadi "kotor"; evaluasi final cukup sekali.
• Mengukur accuracy saja pada data tidak seimbang: gunakan metrik per kelompok dan F1.
• Mengabaikan bias sampai terpublikasi: audit bias adalah bagian dari pengembangan, bukan pasca-rilis.

#Penutup

Inti yang harus dibawa pulang:

• Evaluasi klasik: train/validation/test dan k-fold; pahami trade-off bias vs variance.
• Evaluasi LLM: metrik groundedness, relevance, dan hallucination rate; pakai evaluator manusia atau LLM-as-a-judge pada sampel.
• Etika: bias, fairness, privacy, dan responsible AI adalah tanggung jawab engineering, bukan sekadar kebijakan.
• Regulasi: EU AI Act, NIST AI RMF, dan UU PDP mengubah evaluasi dari praktik baik menjadi kewajiban.

Di episode 9 selanjutnya kita masuk ke fase workload: Data — akuisisi, persiapan, dan pipeline — data collection, cleaning, augmentation, labeling, dan data versioning, plus pipeline training nyata (split, normalization, feature engineering) yang menjadi fondasi semua model. Sampai jumpa di episode 9!