Belajar Data Scientist - Statistika & Probabilitas

#Pendahuluan

Setelah di episode 2 kita menguasai peta proyek CRISP-DM, pada episode ini kita turun ke fondasi matematis yang membedakan data scientist dari sekadar "orang yang menjalankan library": statistika & probabilitas.

Mengapa penting? Karena hampir semua keputusan dalam data science adalah keputusan di bawah ketidakpastian. Apakah model ini benar-benar lebih baik dari baseline, atau hanya kebetulan? Apakah kenaikan metrik ini signifikan, atau karena variasi acak? Tanpa statistika, kalian tidak punya cara menjawab — dan akan mudah tertipu oleh angka yang terlihat meyakinkan. Statistika adalah alat untuk berpikir jujur tentang data.

#Probabilitas: Bahasa Ketidakpastian

Probabilitas mengukur seberapa mungkin sebuah kejadian terjadi, dari 0 (tidak mungkin) sampai 1 (pasti). Dua konsep yang wajib dikuasai:

• Probabilitas bersama P(A dan B) — peluang dua hal terjadi bersamaan. Contoh: peluang customer melakukan pembelian dan juga churn.
• Probabilitas bersyarat P(A|B) — peluang A terjadi diberikan B terjadi. Contoh: peluang churn diberikan customer menghubungi support 3 kali.

#Bayes dan Implikasinya

Rumus Bayes adalah fondasi dari banyak metode data science (termasuk Naive Bayes dan Bayesian optimization):

P(A|B) = P(B|A) * P(A) / P(B)

Intuisi sederhananya: keyakinan kita diperbarui ketika ada bukti baru. Jika 1% customer churn (prior) tetapi pelanggan yang komplain 3 kali punya peluang churn 40%, maka bukti komplain mengubah keyakinan kita. Cara berpikir bayesian inilah yang dipakai untuk update model saat data baru masuk — kembali lagi di episode 15 dan 25.

#Distribusi Data

Data mengikuti pola tertentu yang bisa digambarkan sebagai distribusi. Dua yang paling penting:

#Distribusi Normal

Distribusi berbentuk lonceng simetris di sekitar rata-rata. Banyak fenomena alam & bisnis mendekatinya: tinggi badan, kesalahan pengukuran, permintaan produk. Sifat kuncinya aturan empiris:

Aturan ini berguna untuk mendeteksi outlier: nilai yang jauh melebihi mean ± 3 SD patut dicurigai.

#Distribusi Miring (Skewed)

Tidak semua data normal. Pendapatan rumah tangga, waktu sesi, dan ukuran transaksi biasanya right-skewed: mayoritas kecil, sedikit sangat besar. Inilah alasan mengapa median sering lebih informatif daripada mean untuk data ini — dan mengapa log-transform menjadi tool penting di episode 10.

import numpy as np
from scipy import stats
 
data = np.random.exponential(scale=2.0, size=5000)
print("mean :", round(data.mean(), 2))
print("median:", round(np.median(data), 2))
print("skew :", round(stats.skew(data), 2))

Perhatikan mean yang lebih besar dari median dan skewness positif — ciri khas distribusi right-skewed.

#Statistik Deskriptif vs Inferensial

Data science memakai keduanya. Deskriptif untuk eksplorasi (episode 6), inferensial untuk keputusan — terutama saat kita hanya punya sampel dari populasi besar.

#Uji Hipotesis

Uji hipotesis adalah prosedur formal untuk mengambil keputusan dengan bukti data. Alurnya:

1. Tentukan hipotesis nol (H0) — status quo, biasanya "tidak ada efek".
2. Tentukan hipotesis alternatif (H1) — "ada efek".
3. Hitung statistik uji dari data.
4. Hitung p-value: peluang mendapatkan data seekstrem ini jika H0 benar.
5. Keputusan: jika p-value < alpha (biasanya 0.05), tolak H0.

#Praktik: Uji t Berpasangan

Studi kasus: kita ingin tahu apakah pelatihan baru meningkatkan skor tim customer service. Kita punya skor sebelum dan sesudah pelatihan untuk orang yang sama — ini uji berpasangan.

import numpy as np
from scipy import stats
 
np.random.seed(42)
before = np.random.normal(70, 8, 30)
after = before + np.random.normal(4, 4, 30)
 
t_stat, p_value = stats.ttest_rel(after, before)
print(f"t-statistic: {t_stat:.3f}")
print(f"p-value    : {p_value:.4f}")

Jika p-value < 0.05, kita menolak H0 dan menyimpulkan pelatihan signifikan meningkatkan skor. Coba jalankan dan lihat outputnya — perhatikan bahwa keputusan didasarkan pada p-value, bukan sekadar selisih mean.

#Statistik Inferensial Lanjutan

#Confidence Interval

Rentang nilai yang kemungkinan besar memuat parameter populasi. Interval 95% berarti: jika kita mengulang eksperimen berkali-kali, 95% interval yang dihasilkan akan memuat nilai sebenarnya.

import numpy as np
from scipy import stats
 
sample = np.random.normal(100, 15, 200)
se = sample.std(ddof=1) / np.sqrt(len(sample))
ci_low, ci_high = stats.t.interval(0.95, len(sample) - 1,
                                   loc=sample.mean(), scale=se)
print(f"mean: {sample.mean():.2f}, 95% CI: [{ci_low:.2f}, {ci_high:.2f}]")

Interval yang lebar = ketidakpastian tinggi (sampel kecil atau variansi besar); interval sempit = estimasi lebih presisi.

#Pilihan Uji Statistik

Episode 16 akan memakai uji ini untuk A/B testing — jadi pastikan pemahaman dasar ini kuat.

#Kesalahan Umum (Pitfalls)

• P-hacking: menguji banyak variasi sampai menemukan p-value kecil. Ini melanggar prinsip eksperimen — tentukan hipotesis & analisis sebelum melihat data.
• Multiple testing: 20 uji dengan alpha 0.05 secara rata-rata menghasilkan 1 false positive. Butuh koreksi (misal Bonferroni).
• Menyamakan signifikansi dengan kepentingan: efek yang signifikan secara statistik bisa saja terlalu kecil untuk berarti bagi bisnis. Selalu tanya "seberapa besar efeknya?" — episode 11 akan membahas effect size.
• Mengabaikan asumsi uji: t-test mengasumsikan data mendekati normal; jika tidak, pilih uji non-parametrik.

#Penutup

Inti yang harus dibawa pulang:

• Probabilitas adalah bahasa ketidakpastian; rumus Bayes mendasari banyak metode modern.
• Distribusi menentukan ringkasan statistik yang tepat — normal untuk mean, skewed untuk median.
• Uji hipotesis berjalan: H0 vs H1 → statistik uji → p-value → keputusan pada alpha.
• p-value menjawab konsistensi data dengan H0, bukan peluang H0 benar.
• Confidence interval memberi rentang ketidakpastian estimasi.

Di episode 4 selanjutnya kita akan masuk ke Python data stack — NumPy dan Pandas dengan vectorized operations — bahasa yang akan kalian pakai untuk memanipulasi data di setiap episode berikutnya. Pastikan environment dari episode 0 sudah siap, karena mulai sekarang praktiknya penuh kode. Sampai jumpa di episode 4!