Belajar Data Analyst - Statistical Hypothesis Testing
Episode ini membangun rigor ilmiah dalam analisis: hypothesis testing, A/B testing, p-value, confidence interval, dan signifikansi statistik. Kalian akan merancang eksperimen yang benar dan menginterpretasi hasilnya tanpa terjebak kesalahan klasik
#Pendahuluan
Di episode 20 kalian belajar bahwa "korelasi" bukan bukti. Lalu bagaimana analis membuktikan bahwa perubahan benar-benar berhasil? Jawabannya: eksperimen — khususnya A/B testing, metode standar untuk membandingkan dua versi dengan data. Ini keterampilan yang membuat kalian naik dari "pelapor angka" menjadi "penasehat keputusan".
Episode ini membangun fondasi statistik inferensial: hipotesis, uji A/B, p-value, confidence interval, dan kekuatan sampel. Yang lebih penting, kalian belajar menginterpretasi hasil dengan benar — karena mayoritas kesalahan analis di dunia nyata justru terjadi di tahap interpretasi.
#Konsep Dasar: Hipotesis Nol dan Alternatif
Setiap eksperimen dimulai dari dua hipotesis yang bersaing:
| Hipotesis | Arti | Contoh |
|---|---|---|
| H0 (nihil) | Tidak ada perbedaan | Tombol baru tidak mengubah konversi |
| H1 (alternatif) | Ada perbedaan | Tombol baru menaikkan konversi |
Kalian tidak pernah "membuktikan" H1; kalian menolak H0 jika bukti cukup kuat. Analogi hukum: innocent until proven guilty. A/B test yang benar selalu punya H0 yang jelas dan bisa difalsifikasi.
Desain eksperimen A/B:
- Kelompok kontrol : melihat tombol lama (A)
- Kelompok treatment: melihat tombol baru (B)
- Metrik: conversion rate
- Pertanyaan: apakah perbedaan antar kelompok bisa dijelaskan kebetulan?#Merancang A/B Test: Tiga Keputusan Sebelum Jalankan
#1. Metrik Utama (One Metric, Not Many)
Pilih satu metrik utama sebelum eksperimen. Tombol checkout → conversion rate (payment / visitors). Metrik lain boleh dipantau, tetapi keputusan dibuat dari metrik utama — memilih metrik setelah melihat hasil adalah p-hacking.
#2. Ukuran Sampel
Eksperimen yang terlalu kecil tidak akan mendeteksi perbedaan; terlalu besar membuang waktu. Ukuran sampel dihitung dari tiga angka:
- Effect size yang ingin dideteksi (misal +1% konversi)
- Varians metrik (semakin bervariasi, semakin banyak sampel)
- Kekuatan statistik (biasanya 80%) dan alpha (5%)#3. Randomisasi dan Isolasi
Pengguna dibagi acak ke A/B — tanpa randomisasi, hasil tidak valid. Pastikan pengguna yang sama tidak melihat dua versi (atau gunakan desain yang memperhitungkannya), dan tidak ada faktor lain berubah selama eksperimen.
#p-value dan Signifikansi
p-value menjawab: jika H0 benar (tidak ada perbedaan), seberapa tidak biasa hasil yang kita amati? Aturan interpretasi:
| Kondisi | Kesimpulan |
|---|---|
| p-value < 0.05 | Hasil cukup ekstrem — tolak H0, ada bukti perbedaan |
| p-value ≥ 0.05 | Bukti tidak cukup — gagal menolak H0 |
Dua kesalahpahaman paling umum tentang p-value:
- p-value bukan "probabilitas H0 benar". Ia probabilitas melihat data seekstrem ini jika H0 benar.
- Signifikan secara statistik ≠ signifikan secara praktis. Perbedaan 0.1% bisa "signifikan" di sampel raksasa, tetapi tidak relevan untuk bisnis.
Selalu tanya: apakah perbedaan yang terdeteksi cukup besar untuk membuat keputusan berbeda? Jika tidak, hasilnya signifikan secara statistik tetapi tidak signifikan secara praktis.
Warning
Peeking — melihat hasil di tengah jalan dan memutuskan berhenti karena sudah "signifikan" — melanggar asumsi eksperimen dan merusak validitasnya. Tetapkan durasi dan ukuran sampel di awal, lalu jangan ubah sampai selesai.
#Confidence Interval: Ketidakpastian dalam Angka
p-value memberi keputusan ya/tidak; confidence interval memberi ukuran — seberapa besar perbaikannya dan seberapa yakin kita.
import numpy as np
from scipy import stats
konversi_a = np.random.binomial(n=5000, p=0.05, size=1)[0] / 5000 # contoh
konversi_b = np.random.binomial(n=5000, p=0.06, size=1)[0] / 5000
# CI untuk beda dua proporsi (aproksimasi normal)
se = np.sqrt(konversi_a * (1 - konversi_a) / 5000 + konversi_b * (1 - konversi_b) / 5000)
diff = konversi_b - konversi_a
print("selisih:", round(diff, 4))
print("95% CI:", [round(diff - 1.96 * se, 4), round(diff + 1.96 * se, 4)])Interval [0.004, 0.016] berarti: estimasi terbaik selisih 1%, dan 95% keyakinan selisih nyata ada di antara 0.4% dan 1.6% — semuanya positif, konsisten dengan kesimpulan "B lebih baik".
#Praktik: Interpretasi Hasil Eksperimen
Skenario: tim produk menaikkan harga tombol CTA dan melihat konversi. Hasil:
Kontrol : 4.8% konversi (n = 10.000)
Treatment: 5.1% konversi (n = 10.000)
p-value : 0.31
95% CI : [-0.3%, +0.9%]Interpretasi yang benar:
- p-value 0.31 ≥ 0.05 → bukti tidak cukup untuk menolak H0.
- CI mencakup nol → konsisten: kita tidak bisa menyimpulkan perbedaan.
- Keputusan bisnis: jangan klaim kemenangan; pertimbangkan desain ulang eksperimen atau ukuran sampel lebih besar.
Kesalahan klasik di sini: melaporkan "konversi naik dari 4.8% ke 5.1%" tanpa menyebut ketidakpastian. Itu jujur secara angka tetapi menyesatkan secara statistik — pelajaran langsung dari episode 20.
#Kesalahan Umum
- Memilih metrik setelah melihat hasil. Menentukan pertanyaan setelah jawaban adalah p-hacking.
- Peeking / berhenti prematur. Hitung sampel di awal; jalankan sampai selesai.
- p-value disalahartikan. Ia bukan probabilitas H0; signifikansi statistik ≠ kepentingan praktis.
- Mengabaikan ukuran sampel kecil. Eksperimen 50 pengguna hampir tidak pernah membuktikan apa pun.
#Penutup
Inti yang harus dibawa pulang:
- H0 = tidak ada perbedaan; eksperimen menolak H0 jika bukti cukup.
- Tetapkan metrik utama, ukuran sampel, dan durasi sebelum eksperimen dimulai.
- p-value < 0.05 memberi bukti perbedaan; bukan probabilitas H0.
- Confidence interval memberi ukuran efek dan ketidakpastian — selalu laporkan bersama p-value.
- Peeking dan memilih metrik belakangan adalah musuh validitas eksperimen.
Di episode 22 selanjutnya kita memasuki medan paling hangat 2026: AI untuk Analisis Data — text-to-SQL, AI-assisted EDA, dan copilot BI, plus batasan dan cara memvalidasi hasil AI. Rigor statistik sudah di tangan; sekarang kita pelajari cara bekerja bersama AI tanpa kehilangan kendali!