Belajar UX Researcher - Evaluating AI Products

#Pendahuluan

Setelah di episode 15 kita meriset aksesibilitas, pada episode ini kita menghadapi tantangan riset paling baru: mengevaluasi produk AI. WarungNaik berencana meluncurkan fitur "rekomendasi stok otomatis" — aplikasi menyarankan kapan dan berapa banyak memesan berdasarkan riwayat penjualan. Fitur semacam ini bukan tombol biasa: ia memberi saran, bisa salah, dan perilakunya tidak selalu bisa diprediksi.

Inilah yang membedakan riset produk AI dari produk konvensional (episode 1): pengguna tidak berinteraksi dengan "sistem yang pasti", tapi dengan sesuatu yang terkadang salah secara misterius. Pertanyaan risetnya bergeser dari "apakah mudah dipakai?" menjadi "apakah pengguna percaya?", "apakah mereka paham kenapa begini?", dan "apa yang terjadi saat AI salah?"

#Kenapa Riset Produk AI Berbeda

Kesalahan umum: meriset produk AI dengan metodologi produk biasa. Misalnya usability test standar mengukur "berhasil selesai task" — tapi untuk fitur AI, task bisa "selesai" dengan jawaban yang salah tanpa pengguna sadar. Metrik standar tidak cukup.

#Tiga Dimensi Riset AI: Trust, Transparency, Interaction

#1. Trust (Kepercayaan)

Pertanyaan inti: apakah pengguna percaya saran AI — dan mengapa?

Faktor yang membangun trust:

• Akurasi yang konsisten — saran yang sering benar membangun trust; sekali salah besar bisa meruntuhkannya.
• Rasional yang jelas — "stok gula akan habis dalam 2 hari" lebih dipercaya jika disertai alasan "berdasarkan penjualan 7 hari terakhir".
• Kontrol pengguna — pengguna yang bisa menolak/menyesuaikan saran lebih percaya daripada yang hanya bisa menerima.
• Transparansi data — "rekomendasi dihitung dari riwayat belanja kamu" menambah kepercayaan.

Riset trust perlu mengamati perilaku, bukan sekadar menanyakan "percayakah kamu?". Orang bilang percaya tapi tetap mengecek manual — dan sebaliknya. Ukur lewat: berapa sering saran diterima apa adanya vs dikoreksi, dan apa yang terjadi setelah satu saran salah.

#2. Transparency (Transparansi)

Pertanyaan inti: apakah pengguna paham mengapa AI melakukan ini?

Transparansi bukan berarti menjelaskan matematika model — itu membingungkan. Yang dibutuhkan pengguna adalah penjelasan yang masuk akal pada level perilaku:

• Kenapa saya direkomendasikan ini? → "Karena gula biasanya habis tiap 4 hari di warungmu."
• Kenapa harga ini? → "Harga grosir dari distributor naik 5% minggu ini."
• Kenapa tidak bisa? → "Stok distributor sedang kosong di daerahmu."

Riset transparansi bisa memakai teach-back: setelah memakai fitur, minta pengguna menjelaskan "menurutmu, kenapa aplikasi menyarankan ini?" — jawaban mereka mengungkap model mental, dan model mental yang salah adalah temuan besar.

#3. Interaction (Interaksi)

Pertanyaan inti: bagaimana pengguna berinteraksi dengan AI agent?

Produk AI sering berbentuk agent/asisten (chatbot, asisten suara) yang berbeda dari antarmuka tombol:

• Percakapan vs perintah — pengguna mengetik kalimat alami, bukan mengklik menu; bagaimana mereka menyesuaikan gaya bicara?
• Koreksi dan negosiasi — "bukan 5 kg, yang 10 kg" — bagaimana pengguna membetulkan asisten?
• Abandonment — kapan pengguna menyerah dan beralih ke cara manual (telepon distributor)?

#Menguji Kegagalan Model

Produk AI pasti gagal — pertanyaannya bagaimana kegagalan itu dikelola. Riset harus menguji skenario gagal secara sengaja:

1. Saran jumlah yang salah besar (rekomendasi 200 kg padahal
   warung kecil) — apa yang dilakukan pengguna?
2. Data tidak cukup ("belum bisa memprediksi, data masih
   sedikit") — apakah pengguna paham maksudnya?
3. Saran yang kedaluwarsa (harga tidak update) — apakah
   pengguna menyadari, dan bagaimana reaksinya?
4. Kegagalan total (fitur error) — bagaimana pengguna
   dipandu kembali ke cara manual?

Temuan dari pengujian kegagalan: pengguna yang tidak diberi tahu "kenapa salah" kehilangan kepercayaan lebih cepat; pengguna yang diberi jalur manual yang jelas (telepon distributor) jauh lebih tahan terhadap kegagalan AI.

#Teknik Riset Khusus Produk AI

#Wizard of Oz

Untuk fitur AI yang belum siap dikembangkan, gunakan Wizard of Oz: seorang "manusia di belakang layar" berpura-pura menjadi AI. Kalian menguji reaksi pengguna terhadap perilaku AI tanpa harus membangun AI dulu.

Partisipan chat dengan "asisten" di aplikasi prototype.
Di balik layar, moderator membalas pesan mengikuti skenario
yang sudah disiapkan (saran stok, jawaban harga, error).
Tujuan: menguji bahasa, alur, dan reaksi — bukan model.

Ini sangat efektif untuk mengeksplorasi trust dan gaya interaksi sebelum membangun model mahal.

#Evaluation dengan Skenario Realistis

Task untuk produk AI harus dibangun di atas skenario yang realistis:

• "Asisten menyarankan kamu memesan minyak 5 karton. Ada info di WhatsApp distributor bahwa harga turun. Apa yang kamu lakukan?"
• "Rekomendasi stok tadi salah — gula tidak habis sesuai prediksi. Hari ini kamu buka aplikasi lagi. Apa yang kamu harapkan?"

#Gabungan Qual + Quant

Perilaku AI bervariasi antar pengguna — jadi riset perlu keduanya: interview/observasi untuk memahami mengapa, dan analisis log untuk melihat pola (berapa persen saran diterima, berapa sering dikoreksi). Metode kombinasi ini dikembangkan di episode 23.

#Penutup

Pada episode 16 ini, kalian telah menguasai dasar riset produk AI.

Inti yang harus dibawa pulang:

• Produk AI berbeda dari produk konvensional: perilakunya bervariasi, bisa salah, dan menuntut riset trust, transparency, dan interaction.
• Trust diukur dari perilaku (menerima/mengoreksi saran), bukan hanya laporan kepercayaan.
• Transparency = penjelasan yang masuk akal; uji model mental pengguna dengan teach-back.
• Uji kegagalan secara sengaja — pengelolaan error menentukan kepercayaan jangka panjang.
• Wizard of Oz memungkinkan mengeksplorasi fitur AI sebelum dibangun.

Di episode 17 selanjutnya kita akan membahas statistical thinking untuk riset — ukuran sampel, signifikansi, dan tingkat kepercayaan, agar klaim kuantitatif kalian tidak runtuh di depan stakeholder. Sampai jumpa di episode 17!