Belajar ML Engineer - Model Governance & Compliance

#Pendahuluan

Setelah di episode 18 kita memperkuat keamanan sistem ML, ada pertanyaan yang semakin hari semakin sering muncul dari stakeholder dan regulator: bisakah kalian mempertanggungjawabkan model kalian? Pertanyaan ini bukan retorika — di 2026, regulasi seperti EU AI Act mulai berlaku bertahap, dan "model tidak terdokumentasi" bukan lagi sekadar hutang teknis, melainkan risiko kepatuhan.

Governance untuk ML bukan birokrasi kosong. Ia menjawab tiga pertanyaan yang sangat praktis: model ini untuk apa dan kenapa ada? mengapa model memutuskan seperti ini? (explainability), dan apa yang terjadi jika model salah? Episode ini membangun tiga pilar governance: model cards, explainability dengan SHAP/LIME, dan pemahaman tentang AI Act.

#Model Cards: Dokumentasi yang Terstandarisasi

Model card adalah dokumen terstruktur yang menjelaskan model secara transparan. Format yang dipopulerkan Google (Mitchell et al., 2019) dan kini menjadi praktik industri:

Bagian	Isi
Detail model	Arsitektur, versi, data training
Tujuan	Masalah yang dipecahkan, intended use
Faktor & metrik	Segmen yang dievaluasi, metrik per segmen
Data evaluasi	Dataset, prosedur split
Bias & keterbatasan	Segmen lemah, kondisi yang tidak cocok
Rekomendasi	Kapan model dipakai / tidak dipakai

Model card yang baik menyimpan informasi di satu tempat dan bisa diperiksa saat audit. Buat sebagai file yang di-versioning di repository (jadi bagian dari code review), bukan dokumen yang menguap.

Contoh struktur model card

## Detail Model
- Nama: churn-predictor-v5
- Arsitektur: Gradient Boosting (XGBoost), 300 trees
- Training data: events_2026_q2 (DVC v3), 1.2M baris
 
## Evaluasi
- AUC: 0.824 | precision@0.6: 0.85
- Per segmen: youth (18-24) recall 0.61 (lebih rendah 12pp vs rata-rata)
 
## Keterbatasan
- Tidak dievaluasi pada pengguna yang baru daftar &lt; 7 hari
- Tidak cocok untuk prediksi churn pasca perombakan harga besar
 
## Rekomendasi
- Dipakai untuk email retensi; WAJIB review saat event bisnis besar

Perhatikan: di body dokumen biasa, tanda < harus ditulis sebagai entitas < agar tidak salah dibaca MDX sebagai JSX — contoh di atas sudah memakai aturan itu.

#Explainability: Menjelaskan Prediksi

Model black-box (tree-based, neural network) tidak menjelaskan dirinya sendiri. Dua tool paling umum:

#SHAP (SHapley Additive exPlanations)

SHAP menghitung kontribusi tiap feature terhadap prediksi, berdasarkan konsep nilai Shapley dari teori game — fair dan konsisten secara teori.

SHAP untuk satu prediksi

import shap
 
explainer = shap.TreeExplainer(model)
shap_values = explainer.shap_values(X_sample)
 
shap.summary_plot(shap_values, X_sample)          # ringkasan global
shap.waterfall_plot(explainer.expected_value, shap_values[0], X_sample[0])

Pertanyaan yang dijawab: "kenapa prediksi churn untuk user ini 0.87?" → jawabannya: "event_count 3 (kontribusi +0.12), 30 hari tidak aktif (0.09), tier bronze (0.05)".

#LIME (Local Interpretable Model-agnostic Explanations)

LIME menjelaskan satu prediksi dengan mengganggu input di sekitar titik tersebut dan melatih model linear kecil yang meniru perilaku model besar secara lokal. Kelebihan: model-agnostic — bekerja untuk model apa pun tanpa membaca internalnya.

Aspek	SHAP	LIME
Basis teori	Shapley values (solid)	Model lokal linear
Konsistensi	Global & lokal	Lokal saja
Kecepatan	Lambat untuk model besar	Cepat
Pilihan	Default untuk explainability	Saat butuh explainer agnostic

#Explainability dalam Praktik MLE

Dua cara explainability membantu kerja sehari-hari:

Debugging: feature importance yang berubah drastis antar versi = sinyal feature leakage atau data drift (episode 11).
Kepercayaan & kepatuhan: menjelaskan penolakan kredit atau hasil skrining kepada user/regulator; memenuhi hak atas penjelasan yang makin diatur regulasi.

Selain itu, jangan lupa model monitoring dengan explainability: memantau distribusi SHAP values di produksi dapat mendeteksi concept drift lebih awal dari metrik biasa.

#EU AI Act: Apa yang Harus Dipahami MLE

EU AI Act (efektif bertahap mulai 2024-2026) mengatur penggunaan AI berdasarkan tingkat risiko:

Tingkat Risiko	Contoh	Kewajiban Kunci
Unacceptable	Social scoring	Dilarang
High-risk	Kredit, rekrutmen, layanan kesehatan	Dokumentasi teknis, human oversight, logging, model card
Limited	Chatbot	Transparansi (user tahu berhadapan dengan AI)
Minimal	Spam filter	Ringan

Praktik yang sudah kita bangun di series ini secara mengejutkan sudah menutupi banyak kewajiban high-risk: traceability (episode 8), human oversight & model cards, monitoring & logging (episode 11), dan evaluasi bias/fairness (episode 7). Itulah mengapa governance bukan beban baru — ia formalisasi dari praktik engineering yang baik.

#Checklist Kepatuhan Praktis

text

[ ] Model card tersedia & up-to-date untuk tiap model produksi
[ ] Siapa pemilik model? siapa yang bertanggung jawab saat error?
[ ] Human oversight: keputusan berisiko punya eskalasi manusia
[ ] Logging: prediksi & konteks terekam untuk audit
[ ] Evaluasi bias per segmen terdokumentasi
[ ] Proses review saat model dipakai untuk kasus baru (di luar intended use)

Note

Jangan panik menyikapi AI Act. Mulai dari yang praktis: buat model card untuk model produksi pertama kalian, dokumentasikan evaluasi per segmen, dan pastikan ada jalur human oversight. Regulasi menghargai bukti proses, bukan kesempurnaan.

#Common Pitfalls

Pitfall	Dampak	Pencegahan
Model card hanya di akhir proyek	Informasi sudah menguap	Tulis bertahap sejak awal
Explainability hanya untuk "pajangan"	Tidak dipakai untuk debug	Pakai SHAP saat debugging & drift
Tanpa logging prediksi	Audit mustahil	Log prediksi + konteks
Model dipakai di luar intended use	Keputusan salah tanpa tanggung jawab	Model card + review penggunaan baru
Menganggap governance = birokrasi	Risiko kepatuhan laten	Governance = formalisasi praktik baik

#Penutup

Pada episode 19 ini, kalian telah membangun pilar governance:

Model cards mendokumentasikan detail, evaluasi, bias, dan batasan model — versioned di repository.
SHAP & LIME menjelaskan prediksi untuk debugging dan kepatuhan.
EU AI Act mengklasifikasikan risiko AI; model produksi kalian perlu traceability, logging, dan human oversight.
Checklist kepatuhan praktis mengubah regulasi menjadi tindakan nyata.

Di episode 20 selanjutnya kita akan membahas Privacy-Preserving ML — differential privacy, federated learning, dan data minimization: bagaimana melatih dan memakai model tanpa mengorbankan privasi data pengguna. Sampai jumpa di episode 20!