Belajar Data Scientist - Data Ethics & Bias

#Pendahuluan

Setelah di episode 17 kita belajar menyampaikan insight, pada episode ini kita menghadapi konsekuensi dari insight itu: etika data. Model yang kita bangun bukan alat netral — ia memengaruhi keputusan yang menyentuh manusia: siapa dapat pinjaman, siapa dihubungi tim retention, siapa dianggap berisiko. Keputusan yang bias berarti kerugian nyata dan reputasional.

Mengapa etika & bias wajib dipelajari sekarang, bukan nanti? Karena bias lebih murah dicegah di awal daripada diperbaiki setelah dipakai. Sekali model dengan bias beroperasi, dampaknya — diskriminasi, keputusan salah, tuntutan regulasi — sulit ditarik kembali. Regulasi AI dan data (episode 19) semakin menuntut bukti bahwa model diperiksa dengan adil. Ini bagian dari professional responsibility, bukan sekadar kepatuhan.

#Dari Mana Bias Datang?

Bias tidak muncul dari algoritma — ia muncul dari manusia dan data:

Sumber Bias	Contoh
Bias data historis	Data karyawan masa lalu lebih banyak laki-laki → model "belajar" preferensi gender
Bias sampling	Survei hanya menjangkau pengguna smartphone → mengabaikan segmen lain
Bias label	Label dibuat manusia → mencerminkan bias penilai
Bias proxy	Fitur "kode pos" menjadi proksi kelas sosial/ras
Bias deployment	Model dipakai pada populasi berbeda dari data training

Contoh klasik: model rekrutmen yang dilatih data historis perusahaan bisa "belajar" bahwa kandidat dari universitas tertentu lebih baik — padahal itu hanya pola historis, bukan kualitas.

#Fairness: Berbagai Definisi

"Adil" ternyata punya banyak definisi matematis yang saling bertentangan. Tiga yang paling umum:

Definisi	Maksud	Rumus Intuisi
Demographic parity	Proporsi keputusan sama antar grup	P(prediksi=1) sama untuk semua grup
Equal opportunity	Recall (true positive rate) sama antar grup	TPR grup A = TPR grup B
Calibration	Probabilitas benar-benar berarti untuk semua grup	Probabilitas prediksi sama akurat untuk semua grup

Penting: ketiganya tidak bisa dipenuhi bersamaan (kecuali kasus ideal). Pilihan definisi fairness adalah keputusan bisnis & etis — data scientist harus menjelaskan trade-off ini ke stakeholder, bukan diam-diam memilih satu.

#Praktik: Audit Bias Model

Kita audit model churn yang sudah dilatih di episode 11 — dengan fokus pada perlakuan antar segmen (misal berdasarkan senior_citizen atau region):

Audit bias antar segmen

import pandas as pd
from sklearn.metrics import confusion_matrix
 
df = pd.read_csv("telco_churn.csv")
df["pred"] = pipe.predict(X_test)      # hasil dari episode 11
 
def group_metrics(subset):
    tn, fp, fn, tp = confusion_matrix(subset["churn"], subset["pred"]).ravel()
    tpr = tp / (tp + fn)
    fpr = fp / (fp + tn)
    return {"TPR (recall)": round(tpr, 3), "FPR": round(fpr, 3)}
 
for seg in [0, 1]:
    print(f"senior_citizen={seg}:", group_metrics(df[df["senior_citizen"] == seg]))
 
for region in df["region"].unique():
    print(f"region={region}:", group_metrics(df[df["region"] == region]))

Perbandingan kunci: true positive rate (TPR) antar grup. Jika TPR grup A jauh lebih rendah dari grup B, model gagal mendeteksi churn di grup A — pelanggan grup itu tidak pernah mendapat intervensi retensi. Inilah bentuk ketidakadilan yang paling sering terjadi dan paling berbahaya secara bisnis (pelanggan diam-diam hilang).

#Menilai Hasil Audit

Kriteria praktis untuk menilai:

Selisih TPR antar segmen lebih dari 0.10 → indikasi bias yang perlu investigasi.
Periksa juga distribusi fitur per segmen — sering kali ketidakadilan sudah ada di data sebelum model (episode 6).
Dokumentasikan semua temuan — episode 20 akan memakai dokumentasi ini untuk model card.

Important

Bias audit bukan soal "menghapus" variabel sensitif (misal gender). Menghapus kolom gender tidak menghilangkan bias karena variabel lain bisa menjadi proksi (misal nama, kode pos, pendidikan). Yang benar adalah: ukur hasil pada segmen yang dilindungi, cari perbedaan, lalu putuskan perbaikan secara eksplisit.

#Responsible AI: Prinsip Praktis

Empat prinsip yang bisa langsung diterapkan di proyek:

Human-centered — model mendukung keputusan manusia, tidak menggantikannya tanpa pengawasan.
Transparent — dokumentasikan data, metode, dan keterbatasan (episode 20).
Accountable — ada pemilik model; bila model salah, ada yang bertanggung jawab.
Auditable — setiap keputusan penting bisa ditelusuri kembali ke data & kode.

Sebagian prinsip ini sudah kita bangun: reproducibility di episode 12, dokumentasi di episode 20, dan akuntabilitas lewat model registry.

#Kesalahan Umum

Pitfall	Dampak	Solusi
Menganggap model netral	Bias tidak terdeteksi	Audit per segmen secara rutin
Menghapus variabel sensitif saja	Proksi tersembunyi tetap bias	Ukur hasil akhir per segmen
Memilih definisi fairness diam-diam	Trade-off tak dibahas	Jelaskan pilihan ke stakeholder
Audit sekali, lalu selesai	Drift memperkenalkan bias baru	Audit berkala (ep. 24)
Menutupi temuan buruk	Krisis saat publik tahu	Laporkan jujur + rencana perbaikan

#Penutup

Inti yang harus dibawa pulang:

Bias berasal dari data & manusia, bukan algoritma — dan bisa disembunyikan lewat proksi.
Fairness punya banyak definisi yang saling bertentangan; pilihan harus eksplisit.
Audit model dengan membandingkan TPR/recall antar segmen — bukan sekadar accuracy.
Responsible AI: human-centered, transparan, akuntabel, dan dapat diaudit.
Dampak bias paling murah dicegah di awal — tanggung jawab dimulai dari data scientist.

Di episode 19 selanjutnya kita akan membahas privacy & data governance — minimisasi data, GDPR, dan anonimisasi — untuk memastikan data dikelola secara legal dan etis. Sampai jumpa di episode 19!