Belajar UX Designer - Experimentation & A/B Testing UX
Membangun budaya eksperimen yang berpusat pada hipotesis — A/B testing, rancangan uji yang valid secara statistik, dan iterasi berbasis data — dengan praktik merancang eksperimen untuk JagaKota.
#Pendahuluan
Setelah di episode 13 kita membaca funnel JagaKota dan menemukan kehilangan terbesar di langkah "Isi detail", muncul pertanyaan kunci: apa yang harus diubah, dan bagaimana kita tahu perubahannya berhasil? Inilah medan eksperimentasi UX — pengujian dua (atau lebih) versi secara terukur, berlandaskan hipotesis, bukan tebakan.
Mengapa penting? Karena pendapat — bahkan pendapat ahli — sering salah. Eksperimen memberi jawaban yang bisa dipertanggungjawabkan: "versi B meningkatkan konversi 12%, dengan interval kepercayaan 95%". Ini mengubah desain dari seni yang diperdebatkan menjadi sains yang terukur.
#A/B Testing: Dasar-Dasar
A/B test membagi pengguna menjadi dua kelompok: kontrol (A, versi saat ini) dan treatment (B, versi baru). Metrik utama dibandingkan antar kelompok. Elemen yang diuji bisa apa saja: teks tombol, urutan field, layout, warna CTA.
Contoh eksperimen JagaKota dari temuan funnel:
Temuan (episode 13): 58% → 38% pengguna berhenti di langkah Isi detail.
Hipotesis: menyederhanakan form detail dari 5 field menjadi 3 field
(pre-fill lokasi via GPS, hapus field "no. telepon" opsional, gabung
deskripsi & kategori) akan menaikkan konversi laporan yang selesai.
Variabel: jumlah field pada langkah detail.
Metrik: konversi form → kirim laporan.
Target: naik >= 10 poin persentase, signifikan pada p < 0.05.#Hipotesis Sebelum Ide
Kunci eksperimen yang baik bukan pada ide-nya, tapi pada hipotesis yang jelas. Format yang dipakai luas:
Jika [perubahan desain] untuk [pengguna],
maka [metrik] akan [arah perubahan],
karena [alasan berbasis riset/teori].Contoh:
Jika field form detail dikurangi dari 5 menjadi 3 untuk pengguna
melapor via mobile, maka konversi laporan naik dari 28% ke >= 38%,
karena decision fatigue menurun seiring berkurangnya keputusan
yang harus diambil (episode 10).#Validitas Statistik: Jangan Terjebak Angka Acak
A/B test bisa menyesatkan jika dirancang asal. Empat hal yang wajib diperhatikan:
| Faktor | Penjelasan |
|---|---|
| Ukuran sampel | Terlalu kecil → hasil tidak bisa dipercaya; hitung kebutuhan awal |
| Durasi | Jalankan minimal 1 siklus penuh (misal 2 minggu) agar mencakup variasi hari |
| Signifikansi | Gunakan p < 0.05 dan interval kepercayaan, jangan hanya rata-rata |
| Segmentasi | Pantau metrik per segmen; kenaikan global bisa menutupi kerugian sebagian |
Warning
Eksperimen bukan alat untuk menguji desain yang jelas-jelas buruk, dan bukan pengganti riset. Urutan sehatnya: riset kualitatif menemukan masalah, desain menyelesaikan, eksperimen membuktikan skala dampaknya. Menggunakan A/B test untuk menebak tanpa dasar riset adalah resep membuang trafik dan waktu.
#Iterasi Berbasis Data
Eksperimen bukan akhir — ia awal iterasi. Peta pengambilan keputusan:
- Menang signifikan → ship, lalu cari eksperimen berikutnya (misal pindah ke langkah lain di funnel).
- Seri / tidak signifikan → analisis segmen; mungkin desainnya benar tapi metrik kurang sensitif; jangan paksakan.
- Kalah → pelajari mengapa (session recording dari episode 13), bukan langsung buang.
eksperimen: form_lapor_sederhana
kontrol: form 5 field
treatment: form 3 field + pre-fill lokasi
metrik_utama: konversi form → kirim
metrik_sekunder: waktu selesai, follow-through
durasi: 2 minggu
segmentasi: mobile vs desktop, area perkotaan vs pinggiran#Common Pitfalls
- Menguji terlalu banyak sekaligus — ubah satu variabel per eksperimen agar tahu penyebabnya.
- Berhenti terlalu cepat — menghentikan test saat hasil "terlihat bagus" di hari ketiga merusak validitas.
- Mengabaikan metrik sekunder — konversi naik tapi follow-through turun berarti masalah dipindah, bukan diselesaikan.
- Memakai data eksperimen sebagai satu-satunya suara — tetap triangulasi dengan riset kualitatif.
#Penutup
Inti yang harus dibawa pulang:
- Eksperimen dimulai dari hipotesis (jika → maka → karena), bukan dari ide acak.
- A/B test butuh sampel, durasi, dan signifikansi yang memadai agar valid.
- Iterasi berbasis data: menang → ship; seri → analisis; kalah → pelajari.
- Eksperimen melengkapi riset, bukan menggantikannya.
Di episode 15 selanjutnya kita akan membahas service design — melihat layanan JagaKota secara end-to-end lewat service blueprint, dari frontstage hingga backstage. Sampai jumpa di episode 15!