Belajar Product Operation - Experimentation Ops

#Pendahuluan

Setelah di episode 8 kita memahami tools strategy & management, pada episode ini kita memahami bagaimana Product Ops mendukung eksperimen produk. A/B testing sudah menjadi standar di banyak organisasi, tetapi tanpa process yang benar, eksperimen bisa menghasilkan kesimpulan yang salah.

Product Ops memastikan eksperimen dilakukan secara valid, terstruktur, dan actionable. Dari setup, QA, sampai results management — setiap tahap harus terdokumentasi dan terukur.

#A/B Testing Ops

#Tahapan A/B Testing

1. Hypothesis    → definisikan hipotesis yang jelas
2. Design        → tentukan control, variant, metric, sample size
3. QA            → uji eksperimen sebelum launch
4. Launch        → mulai eksperimen ke production
5. Monitor       → pantau selama eksperimen berjalan
6. Analyze       → analisis hasil dengan statistik yang benar
7. Decide        → putuskan: launch, iterate, atau kill
8. Document      → dokumentasikan hasil dan learnings

#Experiment Registry

Setiap eksperimen harus didokumentasikan dalam registry:

#QA Eksperimen

#Checklist QA

□ Control dan variant berfungsi dengan benar
□ Tracking events terkirim untuk kedua versi
□ Sample size memadai (≥ 1.000 per grup untuk conversion)
□ Tidak ada sample ratio mismatch (SRM)
□ Tidak ada novelty effect (durasi cukup panjang)
□ Tidak ada peeking (hanya cek saat planned)
□ Metric mengukur apa yang seharusnya diukur

#Sample Ratio Mismatch (SRM)

SRM terjadi ketika distribusi user antara control dan variant tidak sesuai (misal: seharusnya 50/50 tetapi aktual 55/45). Ini menunjukkan ada masalah teknis yang bisa merusak validitas eksperimen.

#Results Management

#Template Hasil Eksperimen

Experiment ID   : EXP-2026-001
Hypothesis      : One-click checkout meningkatkan conversion 15%
Duration        : 14 hari
Sample size     : 5.000 per grup
Result          : +8% conversion (p-value: 0.03)
Decision        : Launched (berhasil meskipun di bawah target 15%)
Learnings       : One-click checkout efektif, tetapi perlu optimasi UX
Follow-up       : Iterasi untuk meningkatkan ke 12-15%

#Knowledge Sharing

Hasil eksperimen harus dibagikan ke seluruh tim:

1. Slack notification: posting hasil ke channel product.
2. Documentation: update experiment registry.
3. Retrospective: bahas learnings di sprint retrospective.
4. Playbook: tambahkan learnings ke experimentation playbook.

#Penutup

Inti yang harus dibawa pulang:

• A/B testing ops punya 8 tahap: hypothesis, design, QA, launch, monitor, analyze, decide, document.
• QA eksperimen harus memastikan validitas: tracking benar, sample memadai, tidak ada SRM.
• Results management harus terstruktur: template standar, knowledge sharing, dan playbook.
• Eksperimen gagal sama berharganya — document dan share learnings.

Di episode 10 selanjutnya kita akan membahas customer & support insights — bagaimana Product Ops mengelola support data, churn signals, dan voice of customer (VOC). Tetap semangat!