Belajar Product Designer - Experimentation & Validation

#Pendahuluan

Setelah di episode 11 kita menyiapkan analytics dan menetapkan baseline metrik Sehati, pada episode ini kita menutup siklus data: eksperimen dan validasi. Hipotesis dari episode 11 ("pertanyaan alergi membuat user berhenti") tetap hipotesis sampai diuji dengan benar.

Validasi bisa dilakukan kuantitatif (A/B test dengan data nyata) dan kualitatif (usability test dengan observasi). Keduanya punya peran berbeda: A/B test menjawab "mana yang lebih baik?" dengan bukti skala besar; usability test menjawab "mengapa user berhenti?" dengan kedalaman. Product designer yang baik memakai keduanya sesuai pertanyaan.

#Usability Testing: Validasi Kualitatif

Usability test mengamati perilaku nyata user mengerjakan task. Unmoderated (Maze) cepat dan murah; moderated (Live) lebih dalam. Langkah dasarnya:

1. Rekrut 5 participant per segmen — cukup untuk menemukan mayoritas masalah (aturan Nielsen: 5 user menemukan ~85% masalah).
2. Buat task berbasis skenario, bukan instruksi UI. Contoh: "Kalian demam sejak kemarin, ingin tahu perlu ke dokter atau tidak."
3. Amati & ukur: completion rate, waktu, dan kebingungan (verbal/nonverbal).
4. Catat temuan, bukan komentar. "User mengklik 3 kali sebelum menemukan tombol" lebih berharga daripada "menurut saya tombolnya kurang besar".

Completion rate : % user menyelesaikan task tanpa bantuan
Error rate      : jumlah kesalahan per task
Time on task    : durasi menyelesaikan task
SUS / CSAT      : skor kepuasan subjektif

Saat moderasi, gunakan metode thinking aloud: minta participant mengucapkan apa yang mereka pikirkan. Ini membuka alasan di balik setiap kebingungan — bahan emas untuk iterative design.

#A/B Testing: Validasi Kuantitatif

A/B test membandingkan dua versi (A kontrol, B varian) dengan memecah traffic secara acak. Aturan yang harus dipegang:

1. Satu variabel per eksperimen. Jika mengubah teks dan warna sekaligus, kalian tidak tahu mana yang bekerja.
2. Sampel cukup & durasi minimal. Hitung sample size (alat online gratis), jalankan minimal 1-2 minggu untuk menutup variasi harian.
3. Ukur metrik yang benar dari episode 11 — bukan sekadar click-through.
4. Waspadai efek mingguan & seasonality. Jangan membandingkan akhir pekan dengan hari kerja.

#Contoh Eksperimen Sehati

Hasil yang mungkin: completion naik 8pt (menangkan B) atau naik tapi konversi booking turun (pertanyaan alergi memang penting untuk triase — jangan langsung menangkan hanya karena metrik primer!). Inilah pentingnya metrik sekunder.

#Iterative Validation: Siklus Uji → Belajar → Perbaiki

Eksperimen bukan sekali jalan. Alurnya: uji → pelajari → perbaiki → uji lagi. Hasil A/B test sering membuka pertanyaan baru, bukan menutup. Jangan terobsesi pada satu angka; yang penting adalah arah dan magnitudo — dan memahami mengapa perubahan bekerja.

Iterasi 1: pertanyaan alergi → opsional. Completion +8pt ✓
Iterasi 2: muncul pertanyaan baru — user bingung di hasil kuning
           → perbaiki copy hasil → uji lagi (episode 15 critique)
Iterasi 3: hasil stabil → scale ke semua user

#Praktik: Rancang Eksperimen Sehati

1. Tulis hipotesis dari temuan episode 11 (pertanyaan alergi → completion).
2. Definisikan 2 varian dengan hanya satu perbedaan.
3. Tentukan metrik primer & sekunder.
4. Rancang usability test 30 menit untuk 5 orang dengan task berbasis skenario.
5. Jalankan usability test-nya (bisa ke teman), catat temuan, dan tulis 1 perubahan desain berikutnya.

#Penutup

Inti yang harus dibawa pulang:

• Usability test menjawab mengapa; A/B test menjawab mana yang lebih baik.
• Rekrut 5 user, buat task berbasis skenario, dan catat perilaku — bukan opini.
• A/B test: satu variabel, sampel cukup, durasi memadai, metrik benar.
• Metrik sekunder mencegah kesimpulan menyesatkan dari metrik primer.
• Validasi bersifat iteratif: uji → pelajari → perbaiki → uji lagi.

Di episode 13 selanjutnya kita akan membahas kolaborasi dengan PM & Engineer — working agreements, membaca PRD, dan design-engineering handoff yang mulus, karena desain terbaik tidak berguna jika tidak bisa dibangun. Sampai jumpa di episode 13!