Belajar UX Researcher - Statistical Thinking untuk Riset

#Pendahuluan

Setelah di episode 9 kita mengukur UX kuantitatif dan di episode 16 mengevaluasi produk AI, pada episode ini kita melengkapi sisi kuantitatif dengan fondasi yang sering dilewati: berpikir statistik. Bukan untuk menjadi data scientist — tapi untuk tidak membuat klaim yang runtuh.

Ini penting karena angka memberi ilusi kepastian. "70% pengguna puas" terdengar meyakinkan sampai kalian bertanya: dari berapa responden? Dengan margin error berapa? Angka tanpa konteks statistik adalah senjata yang bisa melukai kredibilitas kalian sendiri — dan berpikir statistik adalah perisainya.

#Sampel dan Populasi

Populasi adalah seluruh orang yang ingin kita tarik kesimpulannya; sampel adalah sebagian yang benar-benar kita ukur. Masalah inti statistik: bagaimana menarik kesimpulan tentang populasi dari sampel yang jauh lebih kecil?

Dua faktor menentukan kepercayaan kita:

1. Ukuran sampel (n) — semakin besar, semakin presisi perkiraan.
2. Cara memilih sampel — sampel acak/representatif lebih baik dari sampel seadanya (episode 3).

Contoh WarungNaik: 1.200 pengguna aktif memesan bulan ini (populasi), survei menjangkau 150 responden (sampel). Klaim tentang "pengguna WarungNaik" harus selalu diingatkan: berdasarkan sampel 150 orang.

#Margin of Error dan Confidence Interval

Hasil survei selalu punya ketidakpastian karena hanya mengukur sebagian populasi. Confidence interval (interval kepercayaan) menyatakan rentang di mana nilai sebenarnya kemungkinan besar berada.

Contoh: "65% responden puas, ±8%, pada tingkat kepercayaan 95%" berarti: jika kita mengulang survei berkali-kali, 95% hasilnya akan jatuh di rentang 57-73%. Bukan "tepat 65%" — tapi "di suatu tempat antara 57-73%".

Faktor yang memengaruhi margin of error:

• n lebih besar → error lebih kecil. Survei 150 orang punya error lebih kecil dari survei 30 orang.
• Persentase mendekati 50% → error terbesar. "50% suka" paling tidak pasti; "95% suka" relatif lebih pasti.

Hubungan n dan error (untuk tingkat kepercayaan 95%, pada hasil ~50%):

n=30   → ±18%
n=100  → ±10%
n=300  → ±6%
n=1000 → ±3%

Perhatikan pesannya: dengan n=30, "70% puas" bisa berarti nilai sebenarnya antara 52% sampai 88% — kesimpulan besar dari sampel kecil harus diucapkan dengan hati-hati.

#P-Value dan Signifikansi

#Apa Itu P-Value

P-value menjawab pertanyaan: "jika sebenarnya tidak ada perbedaan, seberapa kecil kemungkinan kita melihat perbedaan sebesar ini karena kebetulan?" P-value kecil (biasanya < 0.05) dianggap "signifikan".

Contoh A/B test (episode 9): versi B checkout naik dari 40% ke 44% dari masing-masing 500 pengguna. P-value yang dihasilkan (katakanlah) 0.20 berarti: 20% kemungkinan kenaikan ini terjadi murni karena kebetulan — tidak cukup bukti menyebut B lebih baik. Hasil 44% vs 40% bisa jadi noise.

#Kesalahan Paling Umum

• "p < 0.05 berarti benar" — salah. Artinya: bukti menolak klaim "tidak ada perbedaan"; tidak membuktikan penyebab.
• Mengintip hasil — mengecek data terus-menerus dan berhenti saat tampak signifikan (p-hacking). Ini meningkatkan peluang temuan palsu.
• Signifikan ≠ penting — dengan n=10.000, perbedaan 0.5% bisa "signifikan" secara statistik tapi tidak berarti apa-apa secara bisnis. Selalu tanya: apakah perbedaan ini bermakna?
• Menyebut "hampir signifikan" — p=0.06 bukan "nyaris benar"; ia tetap gagal memberikan bukti.

#Berpikir Statistik untuk Riset Kualitatif

Berpikir statistik tidak hanya untuk angka. Beberapa pola pikirnya berlaku untuk riset kualitatif:

• Hati-hati generalisasi — "6 dari 8 responden" (sampel kecil, bukan acak) tidak bisa diubah jadi persentase populasi. Katakan "pola konsisten di mayoritas responden yang kami temui".
• Kuantifikasi yang keliru — jangan menghitung persentase dari 6 interview dan menyajikannya seperti statistik.
• Distribusi vs rata-rata — satu responden yang ekstrem bisa menggeser "rata-rata"; perhatikan sebaran, bukan hanya pusat.

#Melaporkan Hasil dengan Jujur

Template pelaporan kuantitatif yang jujur:

Metode: Survei online, n=150 pemilik warung aktif
       (margin of error ±8%, confidence 95%)
Hasil: 65% puas dengan kecepatan checkout (±8%)
Segmen: Kios kecil (n=90): 71% puas
        Toko sembako (n=60): 56% puas
Catatan: Sampel diambil dari pengguna yang aktif berminggu-
        minggu — bukan mewakili seluruh pengguna baru.

Perhatikan komponen wajibnya: n, margin of error, segmentasi, dan keterbatasan. Laporan seperti ini sulit diserang karena semua asumsinya terbuka.

#Penutup

Pada episode 17 ini, kalian telah membangun berpikir statistik.

Inti yang harus dibawa pulang:

• Kesimpulan tentang populasi dari sampel selalu punya ketidakpastian — ukuran sampel dan cara memilihnya menentukan.
• Margin of error / confidence interval menyatakan rentang, bukan titik; n kecil = rentang lebar.
• P-value < 0.05 berarti bukti menolak "tidak ada perbedaan", bukan "benar"; selalu sertakan ukuran efek.
• Jangan p-hacking: tentukan metrik dan durasi sejak awal, jangan mengintip hasil.
• Laporkan n, error, segmen, dan keterbatasan — kejujuran statistik menaikkan kredibilitas.

Di episode 18 selanjutnya kita akan masuk ke dimensi etika: research ethics — informed consent, perlindungan partisipan, dan prinsip do no harm dalam setiap tahap riset. Sampai jumpa di episode 18!