Belajar Technical Product Manager - Agentic & Autonomous Products

#Pendahuluan

Setelah di episode 21 kita menyelesaikan eval plan fraud alert — golden dataset, guardrails, routing dua tier, runbook drift — episode ini membahas evolusi berikutnya dari produk AI: agen otonom. Bukan model yang menjawab pertanyaan, melainkan sistem yang bertindak: memanggil tool, mengambil keputusan bertahap, dan mencapai tujuan dengan sedikit pengawasan manusia.

Di NusaPay, permintaannya sudah datang dari tim ops: "kalau fraud alert bisa otomatis, kenapa rekonsiliasi ledger tidak bisa dikerjakan agen sendiri?" Episode ini memberi kerangka TPM untuk menjawab pertanyaan itu tanpa romantisasi — agen otonom adalah produk dengan rasio risiko/benefit yang harus dihitung, bukan hype yang dituruti.

#Anatomi Agent

Empat komponen yang membedakan agen dari chatbot:

• Model sebagai mesin penalaran; tools sebagai tangan (query database, kirim API, baca file); memory sebagai catatan kerja (konteks percakapan plus state antar langkah); planner sebagai pengendali loop: rencana → eksekusi → amati hasil → putuskan langkah berikut.

Implikasi produknya langsung terasa: setiap tool yang kalian berikan adalah permukaan risiko baru. Agen dengan tool "refund transaksi" punya kelas kesalahan yang tidak dimiliki agen read-only. Karena itu desain kemampuan agen dimulai dari pertanyaan produk: tugas apa persisnya, dan batas wewenangnya di mana?

#Pola Orkestrasi

Tiga pola dari paling sederhana ke kompleks:

1. Single agent + tools: satu loop menyelesaikan tugas sempit. Cocok untuk mayoritas use case nyata — rekonsiliasi harian, triage tiket.
2. Supervisor + sub-agents: agen koordinator mendelegasikan ke spesialis (agent query, agent validasi). Berguna saat tugas lebar, dengan biaya latency dan debugging lebih tinggi.
3. Pipeline tetap: LLM hanya di tahap tertentu alur deterministik. Sering diremehkan padahal paling murah dan paling mudah diaudit — kalau 80% langkah bisa deterministik, jangan serahkan ke model.

Aturan pemilihan TPM: mulai dari pola termurah yang memenuhi kebutuhan; kompleksitas orkestrasi adalah biaya operasional permanen, bukan prestasi arsitektur.

#Studi Kasus: Reconciliation Agent

Tugas: tiap pagi, cocokkan settlement bank partner vs ledger internal, selidiki selisih, siapkan draft jurnal koreksi. Versi manualnya 3 jam/hari tim ops.

Desain bertingkat menurut wewenang:

L0 (read-only)     : baca kedua sumber, laporkan selisih + hipotesis
                     penyebab. Manusia menyimpulkan.   <- mulai di sini
L1 (draft actions) : susun draft jurnal koreksi; manusia approve.
L2 (auto-execute)  : eksekusi koreksi otomatis HANYA untuk kategori
                     bernilai < Rp 1 jt dan pola sudah dikenal;
                     sisanya naik ke L1.

Perhatikan filosofinya: otonomi adalah dial yang dinaikkan bertahap berdasarkan bukti, bukan saklar on/off. L0 saja sudah menghemat ~70% waktu manual — nilai mengalir sejak minggu pertama sementara kepercayaan dibangun dengan data akurasi hipotesisnya.

#Human-in-the-Loop Thresholds

Keputusan "kapan manusia dilibatkan" harus eksplisit dan terukur:

• Berdasar nilai: di atas ambang rupiah tertentu → wajib approval (contoh di atas).
• Berdasar keyakinan: confidence model rendah atau data kontradiktif → eskalasi manusia.
• Berdasar dampak: aksi yang sulit dibalik (kirim payout, ubah ledger final) selalu lewat manusia di fase awal.
• Berdasar anomali: jumlah langkah melebihi normal atau tool error beruntun → hentikan dan panggil manusia, jangan biarkan loop berputar membakar token.

Metrik produk yang menyertai dial: escalation rate (% kasus yang naik ke manusia), override rate (berapa % keputusan agen yang dibalik manusia — indikator kualitas), dan time saved per hari. Override rate yang tinggi berarti dial belum pantas dinaikkan.

#Trust: Permissioning dan Audit Trail

Agen yang bertindak butuh sistem kepercayaan yang lebih ketat dari user manusia:

• Identitas terpisah: agen memakai service account dengan permission minimal (least privilege) — bukan pinjam kredensial staff.
• Scope per tool: whitelist endpoint yang boleh dipanggil; refund ada tapi terbatas nominal dan frekuensi.
• Audit trail lengkap: setiap langkah agen — reasoning ringkas, tool dipanggil, input/output, confidence — tercatat immutable dan bisa direplay. Ini requirement yang sama semangatnya dengan audit log enterprise (episode 20), dan buyer enterprise akan menanyakannya juga untuk agen.
• Kill switch per agen: satu flag menghentikan seluruh loop agen tanpa deploy ulang — warisan disiplin feature flag episode 17.

#Observability: Tracing Langkah Agen

Debugging agen tradisional ("kok dia melakukan itu?") mustahil tanpa trace terstruktur. Satu run agen = satu trace berisi span per langkah:

{
  "run_id": "run_20260901_0412",
  "step": 4,
  "thought": "Selisih Rp 850.000 pada batch QRIS MID-204;",
  "tool": "ledger.query",
  "input": { "merchant_id": "MID-204", "date": "2026-08-31" },
  "output_summary": "3 transaksi pending refund",
  "confidence": 0.93,
  "latency_ms": 812,
  "tokens": { "in": 1840, "out": 210 },
  "outcome": "matched_to_pending_refunds"
}

Dashboard TPM dari trace ini: distribusi jumlah langkah per run (lonjakan = perilaku liar), failure by tool, cost per run, dan outcome distribution. Semuanya versi agen dari metrik teknis episode 7 — prinsip datanya identik, objeknya yang baru.

#Praktik: Agent Product Brief Reconciliation

Tulis brief satu halaman: definisi tugas & success criteria (waktu ops hemat, selisih terdeteksi 100%), pilihan pola orkestrasi beserta alasannya, tabel dial otonomi L0-L2 dengan kriteria kenaikan tiap level, daftar permission + kill switch, dan metrik escalation/override target 90 hari pertama. Simpan di 03-specs/agent-reconciliation.md.

#Penutup

Inti yang harus dibawa pulang:

• Agen = model + tools + memory + planner dalam loop; setiap tool adalah permukaan risiko baru — desain wewenang sebelum kemampuan.
• Pilih pola orkestrasi termurah yang cukup: single agent dulu, supervisor bila perlu, pipeline deterministik untuk yang bisa deterministik.
• Otonomi adalah dial L0→L2 yang dinaikkan berdasarkan bukti; di domain uang, manusia menekan tombol sampai data membuktikan sebaliknya.
• Threshold human-in-the-loop eksplisit (nilai, keyakinan, reversibilitas, anomali) dengan metrik escalation & override rate.
• Trust butuh identity least-privilege, audit trail yang bisa replay, dan kill switch; observability tracing membuat perilaku agen bisa dijelaskan, diukur, dan diperbaiki.

Di episode 23 selanjutnya kita zoom out dari satu agen menjadi satu strategi: Platform Strategy — platform vs product, ecosystem roles, network effects dan flywheel, model monetisasi ekosistem, serta framework build-vs-partner-vs-buy untuk keputusan platform NusaPay. Sampai jumpa!