Belajar ML Engineer - AI Agents & Systems Engineering

#Pendahuluan

Setelah di episode 24 evaluasi menjadi mesin pengembangan, kita sampai pada tren paling besar di 2026: AI agents. RAG memberi model pengetahuan; agent memberi model tindakan. Alih-alih hanya menjawab, agent bisa memanggil tool, berinteraksi dengan API, dan menyelesaikan tugas multi-langkah — dari menjawab tiket support sampai mengeksekusi analisis data.

Sebagai MLE, peran kalian di sini bukan sekadar "membuat prompt jadi agent". Kalian harus membangun sistem di sekeliling agent: loop yang terkontrol, tool yang aman, memory, observability, dan guardrail yang mencegah agent melakukan hal merusak. Episode ini membedah arsitektur agent dan bagaimana mengintegrasikannya ke sistem perusahaan dengan aman.

#Arsitektur Agent: Lebih dari Satu Prompt

Agent pada dasarnya adalah loop: model berpikir → memutuskan tindakan → memanggil tool → melihat hasil → berpikir lagi. Ini disebut agent loop (atau ReAct: Reason + Act):

Tiga komponen inti:

Framework yang umum 2026: LangGraph (stateful, loop eksplisit), LlamaIndex Agents, dan SDK agent (OpenAI Agents SDK, dsb). Pilih framework hanya setelah memahami pola arsitekturnya — bukan sebaliknya.

#Tool Use: Menghubungkan Agent ke Dunia

Tool adalah jembatan agent ke sistem. Contoh tool yang umum:

• Query database (dengan whitelist query)
• Panggil API internal (dengan auth)
• Eksekusi kode dalam sandbox
• Ambil dokumen dari search/RAG
• Kirim email / buat tiket (aksi)

TOOLS = [
    {
        "type": "function",
        "function": {
            "name": "query_analytics",
            "description": "Jalankan query analitik read-only pada warehouse",
            "parameters": {
                "type": "object",
                "properties": {
                    "sql": {"type": "string"},
                },
                "required": ["sql"],
            },
        },
    },
]

Disiplin keamanan tool (berlanjut dari episode 18):

• Least privilege: setiap tool hanya punya izin minimal.
• Read-only dulu: tool yang mengubah data butuh approval khusus.
• Validasi input: jangan pernah langsung jalankan output tool tanpa validasi.
• Whitelist eksekusi: sandbox terisolasi untuk tool yang mengeksekusi kode.

#Memori dan State

Agent butuh memori untuk konteks antar langkah dan antar sesi:

• Working memory: pesan dalam konteks saat ini (context window).
• Long-term memory: riwayat user, preferensi, hasil tugas sebelumnya — sering diwujudkan lewat vector DB (episode 16).
• State persistence: state loop (langkah mana, sudah apa) harus tersimpan agar agent bisa resume saat terputus.

Memori juga membawa risiko: data pribadi yang tersimpan di memori harus ditangani sesuai prinsip privasi (episode 20) dan minimasi (jangan simpan lebih dari yang dibutuhkan).

#Guardrail dan Human-in-the-Loop

Agent yang bebas memanggil tool tanpa pengawasan adalah risiko besar. Struktur guardrail berlapis:

Human-in-the-loop adalah pola kunci untuk aksi berisiko: agent menyusun tindakan, manusia menyetujui, agent mengeksekusi. Pola ini membuat kegagalan agent tidak menjadi kegagalan bisnis.

def execute_with_approval(action: dict) -> None:
    if action["risk"] == "high":
        approval = ask_human(f"Agent ingin: {action['description']}. Setujui?")
        if not approval:
            return
    execute(action)

#Menjaga Agent Tetap Terkontrol

Tiga disiplin engineering yang membedakan agent produksi dari demo:

1. Budget langkah: batasi jumlah iterasi loop (misal maksimum 10 tool calls) — agent yang berputar tanpa selesai adalah bug yang mahal.
2. Observability: log setiap langkah (thought, tool call, result, error) — ini bahan utama debugging dan evaluasi.
3. Evaluasi: agent butuh eval suite seperti halnya model (episode 24): uji tugas end-to-end, tak hanya satu panggilan. Metrik: task success rate, langkah yang dipakai, biaya per tugas, dan error rate per tool.

# Log langkah agent (contoh)
[step 1] thought: perlu cek data churn Q2 → tool: query_analytics
[step 2] result: 1.2M baris, retensi turun 4%
[step 3] thought: cukup data → final answer

#Integrasi dengan Sistem Perusahaan

Agent di dunia nyata terhubung ke SSO, API internal, dan alur kerja. Pertimbangan integrasi:

• Identity: agent berjalan atas nama siapa? Setiap aksi harus tercatat dengan identitas dan konteks.
• Rate limiting: agent yang agresif bisa menyerang API internal — batasi kecepatan tool calls.
• Kanal & UX: titik masuk (chat web, Slack, email) memengaruhi desain loop dan timeout.
• Retry & idempotency: panggilan tool bisa gagal atau terduplikasi — desain seperti sistem terdistribusi pada umumnya.

#Common Pitfalls

#Penutup

Pada episode 25 ini, kalian telah membangun sistem agent:

• Arsitektur agent loop: planner, tools, memory — bukan sekadar satu prompt.
• Tool use dengan least privilege, sandbox, dan whitelist.
• Guardrail berlapis + human-in-the-loop untuk aksi berisiko.
• Observability & evaluasi end-to-end; agent dikontrol dengan budget langkah.
• Integrasi perusahaan: identitas, rate limit, idempotency.

Di episode 26 selanjutnya kita akan membahas Ekosistem & Tren Modern 2026 — bagaimana peran MLE berubah di era LLM & GenAI, eval-driven development, agentic pipeline, local models, dan mengapa demand MLE menembus peringkat teratas industri. Sampai jumpa di episode 26!