Belajar Product Manager - Experimentation & A/B Testing
Menguasai hypothesis-driven development, A/B test design yang valid, dan statistik dasar — p-value, confidence interval, sample size — untuk membuat keputusan produk berdasarkan bukti, bukan tebakan
#Pendahuluan
Setelah di episode 7 kita memahami metrik dan KPI, pada episode ini kita belajar cara mengubah metrik secara sistematis. Experimentation adalah proses menguji hipotesis dengan metode ilmiah — bukan menebak, tetapi membuktikan. A/B testing adalah bentuk paling umum dari experimentation, tetapi bukan satu-satunya.
Banyak PM menganggap A/B testing hanya soal "split traffic 50/50." Realitanya, A/B testing yang valid membutuhkan pemahaman statistik yang memadai. Tanpa ini, kalian akan mengambil keputusan berdasarkan noise, bukan signal.
#Hypothesis-Driven Development
Sebelum menjalankan experiment, kalian harus punya hipotesis yang jelas. Struktur hipotesis yang efektif:
Jika [perubahan], maka [metrik] akan [perubahan] untuk [segmen user],
dikarenakan [alasan/insight].Contoh: "Jika kita menambahkan one-click checkout, maka conversion rate akan meningkat 15% untuk merchant baru, dikarenakan merchant baru sering drop di tahap checkout multi-step."
Hipotesis yang baik harus:
- Terukur: ada metrik spesifik yang bisa diubah.
- Falsifiable: ada kemungkinan hipotesis salah.
- Berbasis insight: didukung oleh data atau research, bukan tebakan.
#A/B Test Design
#Komponen A/B Test
| Komponen | Penjelasan | Contoh |
|---|---|---|
| Control | Kondisi saat ini (tanpa perubahan) | Checkout 3 langkah |
| Variant | Kondisi yang diuji | Checkout 1 langkah |
| Metric | Apa yang diukur | Conversion rate |
| Sample size | Berapa banyak user yang dibutuhkan | 5.000 per grup |
| Duration | Berapa lama experiment berjalan | 2 minggu |
#sample Size dan Statistical Power
Salah satu kesalahan terbesar: menjalankan experiment terlalu pendek atau dengan sample terlalu kecil. Jika sample terlalu kecil, kalian tidak akan bisa membedakan signal dari noise.
Minimum sample size untuk A/B test:
- 1.000 users per grup (untuk metrik binary seperti conversion)
- 10.000+ users per grup (untuk metrik continuous seperti revenue)
- Duration minimal 1-2 minggu (untuk menangkap weekly patterns)#P-value dan Confidence Interval
- P-value: probabilitas bahwa hasil yang diamati terjadi secara kebetulan (jika tidak ada perbedaan sebenarnya). P-value < 0.05 dianggap "statistically significant."
- Confidence interval: rentang nilai di mana "true effect" kemungkinan berada. Confidence interval 95% berarti kalian 95% yakin bahwa true effect ada di dalam rentang itu.
Warning
Statistical significance bukan practical significance. Jika A/B test menunjukkan peningkatan 0.1% dengan p-value 0.01, itu mungkin tidak cukup untuk membenarkan biaya engineering. Selalu tanyakan: "apakah perubahan ini cukup besar untuk mempengaruhi user?"
#Common Pitfalls
- Peeking problem: memeriksa hasil terlalu sering meningkatkan false positive rate.
- Novelty effect: user bereaksi positif karena perubahan baru, bukan karena perubahannya lebih baik.
- Selection bias: user yang masuk experiment tidak representatif.
- Multiple comparisons: menjalankan banyak A/B test sekaligus meningkatkan kemungkinan false positive.
#Penutup
Inti yang harus dibawa pulang:
- Hipotesis harus terukur, falsifiable, dan berbasis insight — bukan tebakan.
- A/B test membutuhkan sample size yang memadai dan durasi yang cukup — jangan terburu-buru.
- P-value < 0.05 bukan jaminan — pertimbangkan juga practical significance.
- Hindari common pitfalls: peeking, novelty effect, selection bias, dan multiple comparisons.
Di episode 9 selanjutnya kita akan membahas PRD & requirement writing — bagaimana menulis Product Requirement Document yang jelas, acceptance criteria, dan user stories. Topik ini menghubungkan eksperimen dengan spesifikasi yang bisa dieksekusi engineering. Tetap semangat!