Belajar Product Manager - AI/LLM Product Management

#Pendahuluan

Setelah di episode 23 kita memahami scaling product organization, pada episode ini kita masuk ke topik yang paling relevan di 2026: AI/LLM product management. Large Language Models (LLM) mengubah cara produk dibangun dan di-consume. PM yang memahami LLM bisa mengidentifikasi peluang baru dan menghindari jebakan umum.

LLM bukan solusi untuk semua masalah — tetapi untuk masalah yang tepat, LLM bisa memberikan value yang sebelumnya tidak mungkin. PM harus memahami kapan menggunakan LLM, bagaimana mendesainnya, dan bagaimana mengevaluasi kualitasnya.

#Prompt/Product Design

#Apa itu Prompt Design?

Prompt design adalah discipline untuk mendesain input yang menghasilkan output kualitas tinggi dari LLM. Dalam konteks produk, prompt design bukan hanya soal "bagaimana menulis prompt yang bagus" — ini soal bagaimana mendesain pengalaman user yang memanfaatkan LLM.

#Product Design dengan LLM

Aspek	Produk Tradisional	Produk LLM
Input	Structured (forms, buttons)	Unstructured (text, voice)
Output	Deterministic	Probabilistic
Error handling	Predictable errors	Hallucination, inconsistency
User expectation	"It should work"	"It should understand me"

#Prompt Engineering untuk Produk

Prompt Design Principles

1. Context     : berikan informasi yang cukup untuk LLM memahami task
2. Constraint  : tentukan format, panjang, dan gaya output
3. Examples    : berikan contoh input-output yang diharapkan
4. Iteration   : test dengan berbagai input, refine prompt berdasarkan hasil

#RAG-Based Features

#Apa itu RAG?

RAG (Retrieval-Augmented Generation) adalah teknik yang menggabungkan retrieval (mengambil dokumen relevan dari database) dengan generation (LLM menghasilkan response berdasarkan dokumen tersebut). Ini mengatasi limitasi LLM: hallucination, outdated knowledge, dan lack of domain-specific knowledge.

#Arsitektur RAG

RAG Architecture

User Query → Retrieval (search dokumen relevan) → LLM Generate (response berdasarkan dokumen) → Output
 
Contoh:
Query: "Apa kebijakan refund NusaPay?"
Retrieval: mengambil dokumen kebijakan refund dari knowledge base
LLM: "Berdasarkan kebijakan refund NusaPay, pengguna dapat melakukan refund dalam 30 hari..."

#Product Considerations

Sumber data: kualitas retrieval tergantung kualitas data yang di-index.
Latency: retrieval menambah latensi — pertimbangkan UX.
Source attribution: user harus tahu dari mana informasi berasal.
Freshness: data harus di-update secara berkala.

#Evaluating AI Quality

#Metrik Evaluasi

Metrik	Penjelasan	Kapan Dipakai
Accuracy	Output sesuai dengan ground truth	Factual QA
Relevancy	Output menjawab pertanyaan user	Search, recommendation
Coherence	Output logis dan konsisten	Generative tasks
Faithfulness	Output sesuai dengan sumber data	RAG-based features
Latency	Waktu response	Real-time features

#Human Evaluation

Metrik otomatis tidak cukup — human evaluation tetap diperlukan:

Side-by-side comparison: bandingkan output dari dua versi prompt/model.
Likert scale: user menilai kualitas output (1-5) berbagai aspek.
A/B testing: uji versi berbeda ke user production.

Warning

Jangan pernah launch fitur LLM tanpa human evaluation. Metrik otomatis bisa menyesatkan — output yang "accurate" secara teknis bisa tetapi tidak helpful untuk user.

#Penutup

Inti yang harus dibawa pulang:

Prompt design bukan hanya soal menulis prompt — ini soal mendesain pengalaman user dengan LLM.
RAG mengatasi limitasi LLM dengan menggabungkan retrieval dan generation — pertimbangkan latency dan source attribution.
Evaluasi AI membutuhkan metrik otomatis DAN human evaluation — jangan hanya bergantung pada satu.
LLM bukan solusi untuk semua masalah — identifikasi kapan LLM benar-benar memberikan value.

Di episode 25 selanjutnya kita akan membahas storytelling & communication — executive communications, product narrative, dan pitching. Topik ini menghubungkan semua yang sudah dipelajari dengan cara mengkomunikasikannya secara efektif. Tetap semangat!