Belajar Staff Engineer - AI Systems Leadership

#Pendahuluan

Setelah di episode 20 kita mendesain residency dan multi-region, kita masuk Fase 5 dengan topik yang paling menentukan pasar staff engineer 2026: AI systems leadership. Hampir setiap organisasi sedang menyuntikkan LLM ke produknya — dan sebagian besar inisiatif itu berjalan buruk bukan karena modelnya lemah, melainkan karena tidak ada yang memimpin sisi sistemnya: arsitektur, evaluasi kualitas, biaya, dan safety.

Inilah peluang scope kalian: engineer lain bisa memanggil API; hanya IC senior lintas tim yang bisa membuat organisasi membangun kapabilitas AI — infrastruktur, standar, dan eval — alih-alih koleksi demo yang tidak pernah produksi.

#Memilih Arsitektur Sesuai Masalah

Jangan mulai dari "kita harus pakai agent". Mulai dari karakteristik tugas:

Aturan naik-level: naikkan kompleksitas hanya jika level di bawahnya terbukti tidak cukup. Banyak tim melompat langsung ke agentic karena terlihat canggih, lalu tersesat debugging perilaku non-deterministik yang tak pernah mereka butuhkan.

Untuk pola RAG — pilihan paling umum di enterprise — kualitas ditentukan 80% oleh retrieval: chunking strategy, hybrid search (BM25 + vector), re-ranking. Model generatifnya hampir komoditas; pipeline pengetahuannya adalah aset kalian.

#Eval Harness: Fondasi Semua Keputusan AI

Pertanyaan yang membedakan tim serius dari tim demo: "bagaimana kamu tahu versi baru lebih baik?" Tanpa harness evaluasi, semua keputusan (ganti model, ubah prompt, ubah chunking) adalah perasaan.

Komponen minimal eval harness:

1. Golden dataset — 50-200 kasus nyata dari produksi/user feedback: input, jawaban ideal, konteks relevan.
2. Metrik campuran — deterministik (exact match untuk ekstraksi), rubric-based via LLM judge (helpfulness, groundedness), plus human review berkala untuk kalibrasi judge.
3. Regression gate di CI — perubahan prompt/model wajib lolos threshold dataset; degradasi tertangkap sebelum deploy, bukan dari keluhan pengguna.
4. Evaluasi online — sampling traffic nyata untuk review, feedback eksplisit user (thumbs up/down), dan tracking konversi tugas.

datasets/
  golden-support-v3.jsonl     # 120 kasus berlabel
metrics/
  groundedness   >= 0.90      # jawaban didukung konteks (judge)
  refusal_correct>= 0.95      # tolak jika tak ada dasar
  latency_p95    <= 2500 ms
  cost_per_task  <= $0.02
gate : CI gagal jika metrik mana pun regresi > 2%

Perhatikan metrik refusal: sistem yang selalu menjawab terlihat pintar di demo dan berbahaya di produksi. Menolak dengan jujur saat konteks tidak ada adalah kemampuan yang harus dievaluasi.

#Governance: Biaya, Safety, dan Data

Tiga risiko yang wajib dikelola di level program, bukan proyek-per-proyek:

#Biaya Inference

Biaya LLM bersifat variabel-per-request — berbeda secara ekonomi dari software biasa. Kontrolnya:

• Budget per use-case dengan metering per fitur (bukan satu tag cloud raksasa).
• Caching semantik untuk pertanyaan berulang; hemat 20-60% di banyak use case.
• Model routing — model kecil/murah untuk tugas mudah, model besar hanya untuk kasus sulit; classifier ringan memilah.
• Limit & alerting seperti SLO biasa (pola episode 14): burn-rate budget memicu review, bukan kejutan tagihan.

#Safety & Guardrails

• Input filtering (injection, konten terlarang), output validation (schema, PII leak check).
• Human-in-the-loop untuk aksi berdampak tinggi (refund, kirim email massal).
• Logging lengkap input-output untuk investigasi — dengan perlakuan residensi ala episode 20.

#Data Governance

• Data apa yang boleh masuk prompt (PII? kode proprietary?) — kebijakan tertulis per klasifikasi data episode 19/20.
• Retensi log prompt, DPA dengan provider, dan opsi self-host untuk klaster sensitif.

#Praktik: Rencana Inisiatif AI

Susun ~/staff-lab/initiatives/ai-support-assistant.md — contoh nyata asisten support internal:

# Initiative: Support Assistant RAG (Q4)
 
Problem : 1400 tiket/bulan; 55% pertanyaan berulang;
          waktu respons rata-rata 9 jam kerja.
Outcome : Defleksi 40% tiket berulang; respons instan 24/7.
Scope   : Hanya knowledge base support (docs + postmortem).
          TIDAK termasuk aksi akun (refund dsb) di fase 1.
 
Arsitektur : RAG hybrid (BM25+vector, re-ranker),
             model mid-tier, caching semantik.
Eval       : golden-v1 (80 kasus dari tiket riil);
             gate groundedness >= 0.9, refusal >= 0.95.
 
Governance :
- Budget $600/bln, metering per fitur, alert burn 70%.
- Log prompt 30 hari, tanpa PII (redaction pipeline).
- Fallback: eskalasi ke manusia bila skor confidence rendah.
 
Milestones
M1 (pekan 3)  : retrieval-only prototype + eval baseline.
M2 (pekan 7)  : closed beta 10 agent support, feedback loop.
M3 (pekan 10) : go/no-go -> rollout bertahap 25% traffic.
 
Kill criteria: defleksi < 15% pada beta ATAU groundedness
tak capai 0.85 setelah iterasi 3.

Perhatikan kesinambungannya: milestone demonstrable (episode 7), metrics framework (episode 15), guardrail (episode 18). Inisiatif AI bukan disiplin baru — ia disiplin engineering lama pada teknologi baru. Itulah pesan inti episode ini: kalian tidak perlu menjadi ML researcher; kalian perlu menjadi staff engineer yang menerapkan disiplin pada domain yang sedang gila.

#Pitfall Umum Memimpin Inisiatif AI

• Demo-driven development — membangun tanpa dataset eval; kualitas tak pernah naik karena tak pernah terukur.
• Prompt sebagai kode tanpa versioning — perubahan prompt tanpa test adalah deploy tanpa CI; versikan, review-kan, gate-kan.
• Mengabaikan biaya sampai tagihan datang — metering sejak hari pertama jauh lebih murah daripada refactoring setelah viral moment.
• Ground truth diabaikan — tanpa contoh jawaban benar, LLM judge juga buta; investasikan waktu SME (subject matter expert) secara eksplisit.
• Agent untuk masalah yang butuh determinisme — jika langkah bisnisnya harus persis sama tiap kali, tulis workflow biasa; simpan LLM untuk bagian bahasa/alaminya saja.
• Lupa fallback manusia — sistem AI produksi selalu butuh jalur eskalasi yang dirancang, bukan improvisasi saat error.

#Penutup

Inti yang harus dibawa pulang:

• Pilih pola sesuai tugas — utility, RAG, copilot, agent — dan naik kompleksitas hanya jika level bawah terbukti kurang.
• Eval harness (golden dataset + gate CI + monitoring online) adalah fondasi semua keputusan kualitas.
• Governance tiga sisi: biaya (metering, routing, caching), safety (guardrail + human-in-the-loop), data (klasifikasi & retensi).
• Disiplin staff-engineer lama — milestone, metrics, guardrails, kill criteria — tetap kerangka kerjanya; AI hanya mengubah isinya.

Di episode 22 selanjutnya kita akan membahas staff-plus influence — cara memperluas pengaruh ke level eksekutif dan seluruh organisasi, membangun koalisi lintas fungsi, dan berkontribusi ke ecosystem luas lewat open source serta komunitas. Sampai jumpa di episode 22!