Belajar UX Researcher - Usability Testing (Moderated & Unmoderated)
Menguasai usability testing untuk WarungNaik: merancang task scenario yang valid, teknik think-aloud saat sesi moderated, memanfaatkan unmoderated testing dengan Maze, serta mengukur dan melaporkan hasil usability secara konsisten
#Pendahuluan
Setelah di episode 6 kita mengukur persepsi lewat survei, pada episode ini kita masuk ke metode evaluatif paling penting: usability testing. Survei menanyakan pendapat, usability testing mengamati kemampuan — dan keduanya sering berbeda jauh. Pengguna bisa bilang "aplikasinya mudah", lalu gagal menyelesaikan pesanan dalam test.
Usability testing adalah metode inti evaluative research (episode 2): memberi pengguna tugas nyata untuk diselesaikan di produk atau prototype, lalu mengamati di mana mereka berhasil dan di mana mereka tersendat. Hasilnya adalah bukti langsung — bukan opini — tentang seberapa mudah produk dipakai.
#Merancang Task yang Valid
Kualitas usability test ditentukan task-nya. Task yang buruk menghasilkan data yang tidak berguna. Pedoman penting:
- Skenario, bukan instruksi langsung. "Klik tombol Keranjang" menguji kemampuan mengikuti perintah, bukan usability. "Bayangkan kamu butuh minyak goreng 5 karton untuk stok besok" memaksa pengguna berpikir seperti di dunia nyata.
- Satu task satu tujuan. Jangan menggabungkan "pesan barang dan cek ongkir" — kalian tidak akan tahu mana yang bermasalah.
- Tanpa menyebut nama fitur. "Gunakan fitur reorder otomatis" memberi petunjuk jawaban; tanya tujuannya, biarkan pengguna menemukan jalannya sendiri.
- Realistis dan relevan. Task harus menggambarkan pekerjaan nyata pemilik warung, bukan skenario yang tidak pernah terjadi.
Contoh task baik vs buruk untuk WarungNaik:
| Buruk | Baik |
|---|---|
| "Klik menu Reorder" | "Besok stok gula kamu tinggal setengah. Pesan gula sebelum jam 10 pagi." |
| "Isi form checkout" | "Selesaikan pesananmu sampai kamu mendapat konfirmasi pesanan." |
| "Coba fitur pencarian" | "Cari tahu distributor mana yang menawarkan harga minyak paling murah." |
#Moderated Usability Testing
Moderated testing dilakukan dengan moderator yang hadir bersama partisipan (tatap muka atau video call). Moderator memandu, memotivasi, dan menggali dengan think-aloud — meminta partisipan mengucapkan apa yang mereka pikirkan saat mengerjakan task.
#Teknik Think-Aloud
- "Coba ceritakan apa yang kamu pikirkan sambil mengerjakan."
- "Kamu terlihat ragu di sini — apa yang kamu pikirkan?"
- "Apa yang kamu harapkan terjadi saat menekan ini?"Aturan penting think-aloud:
- Jangan membantu. Setiap bantuan ("coba klik ini") merusak data — kalau kalian membantu, tandai task sebagai completed with assistance.
- Tahan keinginan menjelaskan. Jika pengguna bingung, biarkan ia bingung — itulah data.
- Normalisasi kegagalan. "Ini bukan ujian buat kamu, ini ujian buat produknya" membuat pengguna jujur.
#Peran Pengamat (Observer)
Usability test selalu menontonnya stakeholder. Siapkan ruang observasi atau streaming; pengamat mencatat momen penting. Idealnya 2-3 pengamat per sesi, dengan lembar observasi:
Task 1: Pesan gula 5 kg sebelum jam 10
Partisipan: P2 (toko sembako)
Waktu mulai: 03:12 | Selesai: 06:40 (sukses, dengan bantuan)
Langkah: buka app → halaman produk → bingung cari gula
(mencoba search "gula", lalu kategori) → pilih → checkout
Kutipan: "Saya kira gula ada di menu utama, kok harus cari-cari."
Catatan pengamat: Halaman beranda penuh promo, kategori tersembunyi
di hamburger menu. Kandidat masalah utama.#Unmoderated Usability Testing
Unmoderated testing menggunakan platform (Maze, UserTesting, Loop11) di mana partisipan mengerjakan task sendiri tanpa moderator. Kelebihannya: cepat, murah, bisa menjangkau banyak responden dari berbagai kota — sangat cocok untuk pengguna WarungNaik yang tersebar di banyak daerah.
#Kapan Memakai Moderated vs Unmoderated
| Faktor | Moderated | Unmoderated |
|---|---|---|
| Kedalaman insight | Dalam (bisa probing) | Dangkal (bisa task terbuka + catatan) |
| Biaya & waktu | Mahal, lambat | Murah, cepat |
| Skala | 5-8 partisipan | 20-50+ partisipan |
| Cocok untuk | Awal desain, masalah kompleks | Validasi varian, alur sudah stabil |
| Risiko | Butuh moderator terlatih | Tidak ada probing; jawaban tak terkontrol |
Pola yang umum: moderated test untuk menemukan masalah (5 partisipan), lalu unmoderated untuk mengukur seberapa luas masalah itu terjadi atau membandingkan dua desain (30 partisipan).
Tip
Di Maze, gunakan kombinasi task prototipe dan pertanyaan setelah task (misal SUS singkat atau "seberapa yakin kamu jawabanmu benar?"). Data self-report pasca-task memberi sinyal kepercayaan diri pengguna yang tidak terlihat dari klik — sangat berguna saat tidak ada moderator yang bisa membaca ekspresi wajah.
#Mengukur Hasil Usability
Usability diukur melalui beberapa metrik standar:
| Metrik | Definisi | Cara ukur |
|---|---|---|
| Task success rate | Persentase task yang selesai benar tanpa bantuan | Hitung sukses / total |
| Task time | Waktu menyelesaikan task | Stopwatch |
| Error rate | Kesalahan per task | Hitung langkah salah |
| Clicks/taps | Jumlah interaksi | Data platform/analytics |
Standar ukuran sampel: 5 partisipan per skenario sudah menemukan ~85% masalah usability (menurut Jakob Nielsen). Tambah 5 lagi per iterasi desain yang berubah. Penting: ini untuk menemukan masalah, bukan untuk klaim statistik — klaim semacam itu butuh jumlah lebih besar (episode 17).
Warning
Jangan pernah menulis "produk mudah dipakai karena 4 dari 5 pengguna sukses" dari usability test kecil. Sampel 5 orang tidak punya kekuatan statistik untuk klaim semacam itu — cukup katakan "kami menemukan 4 masalah utama yang dialami mayoritas partisipan". Kejujuran tentang keterbatasan sampel justru menaikkan kredibilitas kalian.
#Penutup
Pada episode 7 ini, kalian telah menguasai usability testing.
Inti yang harus dibawa pulang:
- Task scenario harus natural: tanya tujuan, jangan sebut fitur, satu task satu tujuan.
- Moderated + think-aloud memberi kedalaman; jangan membantu, biarkan pengguna bingung.
- Unmoderated (Maze/UserTesting) memberi skala; cocok untuk validasi dan perbandingan varian.
- Ukur success rate, time, error rate; 5 partisipan cukup untuk menemukan masalah mayoritas.
Di episode 8 selanjutnya kita akan membahas diary studies & riset longitudinal — mengikuti perilaku pemilik warung dalam jangka waktu berminggu-minggu, menangkap kebiasaan yang tidak muncul dalam sesi sekali jalan, dan membaca log penggunaan untuk melihat perubahan perilaku. Sampai jumpa di episode 8!