Belajar Technical Product Manager - AI Products Deep | Belajar Technical Product Manager

#Pendahuluan

Setelah di episode 20 kita menutup deal jaringan ritel nasional dengan enterprise spec lengkap — SSO, audit log export, residency Jakarta — episode ini kembali ke jalur AI, kali ini untuk produksi sungguhan. Di episode 9 kita membangun fondasi: fitur fraud alert NusaPay dengan pola alert-first. Kini fitur itu lolos beta dan manajemen bertanya: "kapan bisa dipercaya penuh, dan berapa biayanya?"

Pertanyaan itu hanya bisa dijawab TPM yang menguasai tiga pilar produk AI tingkat lanjut: eval (bukti kualitas), guardrails (batas kegagalan), dan cost-latency engineering (ekonomi inference). Plus satu pilar pemeliharaan: monitoring drift.

#Eval Framework: dari "Sepertinya Bagus" ke Bukti

Di episode 9 kita menetapkan minimum: dataset + rubrik + ambang. Untuk produksi, strukturkan menjadi sistem:

#Golden Dataset

Kumpulan contoh nyata berlabel yang mewakili distribusi trafik:

Golden dataset fraud alert NusaPay

Total      : 400 contoh
- Fraud   : 120 (termasuk 4 pola serangan historis utama)
- Normal  : 240
- Borderline: 40 (kasus abu-abu yang paling sering salah)
Sumber     : transaksi berlabel tim risk + insiden 18 bulan terakhir
Refresh    : +20 contoh baru tiap bulan dari hasil investigasi

Tiga disiplin dataset: representatif (proporsional dengan realita, bukan contoh cantik), berlapis edge case sengaja ditambah, dan hidup (di-refresh dari temuan produksi). Dataset beku membuat eval bagus di lab dan bohong di produksi.

#Rubrik Offline vs Online

Jenis	Apa yang diukur	Kapan	Contoh metrik
Offline	Kualitas pada golden dataset	Sebelum rilis & tiap perubahan prompt/model	Precision@threshold, recall
Online	Perilaku di trafik nyata	Setelah rilis	Alert acceptance rate merchant, false positive report

Untuk output teks bebas (misal ringkasan alasan alert), tambahkan rubrik penilaian LLM-as-judge dengan skala tetap — tapi validasi dulu kesepakatannya dengan penilaian manusia pada sampel; judge yang tidak tervalidasi adalah opini otomatis.

#Regression Suite di CI

Setiap perubahan prompt, suhu, atau versi model menjalankan eval suite otomatis; perubahan diblokir bila precision turun melewati ambang. Ini padanan unit test dunia AI — tanpa itu, tim akan takut menyentuh sistem yang berfungsi.

Tip

Simpan setiap eksperimen eval sebagai artefak bernama: tanggal, konfigurasi, skor. Riwayat ini menjadi dasar keputusan "naik model baru atau tidak" yang bisa diaudit — bukan debat selera saat vendor merilis versi baru mingguan.

#Guardrails: Merancang Cara Sistem Gagal

Produk AI pasti kadang salah; guardrails menentukan seberapa mahal kesalahannya:

Input validation: batas panjang, sanitasi injection prompt, deteksi konten terlarang sebelum sampai model.
Output policy: skema output terstruktur (skor numerik, enum alasan) supaya sistem downstream tidak bisa rusak oleh kalimat liar model.
Confidence gating: skor 55-70 masuk zona review manusia, bukan langsung jadi alert.
Fallback deterministik: kalau provider timeout, fraud alert fallback ke rule engine lama — fitur boleh degradasi, jangan mati total.
Rate & cost limit: circuit breaker biaya per tenant supaya bug loop tidak membakar budget inference semalam.

Polanya konsisten dengan filosofi rollout episode 17: risiko besar dipecah jadi gerbang kecil yang bisa mundur.

#Online Eval: Metrik Setelah Rilis

Offline eval membuktikan kualitas pada dataset; online eval membuktikan nilai di dunia nyata. Untuk fraud alert, metrik onlinenya:

Metrik	Definisi	Sinyal buruk
Alert acceptance rate	% alert yang ditindaklanjuti merchant	Turun = alert terlalu bising
Override rate	% keputusan sistem yang dibalik tim risk	Naik = model meleset
Time to detect	Selisih waktu deteksi vs proses manual lama	Naik = value proposi hilang
False positive reports	Keluhan merchant atas alert salah	Naik = threshold terlalu agresif

Rencana pembacaannya mingguan, bukan harian — fluktuasi harian di trafik finansial normal. Dan seperti guardrail metrics di episode 7, selalu pasangkan metrik kualitas dengan counter-metric pengalamannya.

#Cost-Latency Engineering

Biaya dan kecepatan inference bukan detail teknis — ia margin produk. Empat lever utama:

Model routing: pertanyaan mudah ke model kecil murah, sulit/berisiko ke model besar. Untuk klasifikasi skor fraud, mayoritas traffic cukup model kecil fine-tuned; besar hanya untuk kasus borderline.
Semantic caching: permintaan mirip yang sudah pernah dijawab dilayani cache. Efektif untuk copilot docs (episode 15), jarang relevan untuk scoring per-transaksi unik — kenali karakter trafikmu.
Batching: gabungkan pekerjaan non-realtime (ringkasan harian merchant) jadi batch murah.
Prompt ekonomi: instruksi ringkas + data secukupnya; token yang dikirim = uang yang dibakar. Audit prompt rutin seperti audit log di episode 16.

Ukur semuanya dalam dua angka di dashboard produk: biaya rata-rata per keputusan dan p95 latency end-to-end. Dua angka inilah yang membuat diskusi dengan finance dan engineering terjadi di halaman yang sama.

#Monitoring Drift di Produksi

Model yang bagus hari ini bisa memburuk diam-diam karena dunia berubah — pola fraud baru, perilaku merchant bergeser, vendor diam-diam mengganti model di belakang API yang sama. Sinyal yang dipantau:

Metrik kualitas proksi: acceptance rate alert turun pelan = precision mungkin drop.
Distribusi input: proporsi kategori transaksi bergeser signifikan dari masa training.
Canary evaluasi berkala: golden sample mingguan dilewati model produksi; skor turun → alarm.
Notifikasi vendor change: langganan changelog provider; versi model baru = jalankan regression suite penuh.

Rencana responsnya juga produk: rollback konfigurasi prompt/model, naikkan threshold sementara, eskalasi ke retraining dengan data bulan terakhir.

#Praktik: Eval Plan Fraud Alert Produksi

Susun eval plan satu halaman untuk meluncurkan fraud alert dari beta ke GA: komposisi golden dataset terbaru, tabel offline/online metrics dengan ambang GA, daftar guardrails beserta trigger-nya, strategi routing dua-tier plus estimasi cost per 1000 transaksi, dan runbook drift. Simpan di 05-quality/eval-fraud.md.

#Penutup

Inti yang harus dibawa pulang:

Eval adalah sistem hidup: golden dataset representatif yang di-refresh, rubrik offline+online, dan regression suite di CI yang memblokir regresi.
Guardrails mendesain cara gagal: validasi input, output terstruktur, confidence gating, fallback deterministik, circuit breaker biaya.
Cost-latency engineering = margin produk: routing dua tier, caching seperlunya, batching, dan prompt ekonomi; ukur biaya per keputusan dan p95 latency.
Drift membuat kualitas membusuk diam-diam — pantau proksi kualitas, distribusi input, dan reaksi cepat via runbook.
Semua pilar itu yang menjawab pertanyaan manajemen: "kapan dipercaya penuh, dan berapa biayanya."

Di episode 22 selanjutnya kita naik level lagi: Agentic & Autonomous Products — anatomi agent dengan tools dan memory, pola orkestrasi multi-agent, human-in-the-loop thresholds, permissioning, dan observability tracing untuk agen reconciliation NusaPay. Sampai jumpa!