Belajar Deep Learning - Reinforcement Learning & Agentic (Pengenalan)

#Pendahuluan

Semua model yang kita bangun sejauh ini menghasilkan satu prediksi dari satu input. Namun banyak masalah nyata adalah rangkaian keputusan: bermain game, mengendalikan robot, atau — yang paling relevan di 2026 — model AI yang berpikir beberapa langkah sebelum menjawab dan menggunakan tool untuk menyelesaikan tugas.

Episode ini memperkenalkan dua dunia yang kini bertemu: reinforcement learning (belajar dari reward, bukan label) dan agentic AI (model sebagai otak yang bertindak). Konsep GRPO yang melatih reasoning model seperti R1 berasal dari persimpangan ini. Kalian tidak perlu mengimplementasikan RL penuh, tetapi memahami kerangka pikirnya adalah kunci memahami model AI generasi berikutnya.

#Reinforcement Learning: Belajar dari Reward

#Masalah dan Kerangka

Di supervised learning ada label; di RL tidak ada. Ada agent yang mengambil aksi, menerima state baru dan reward — dan harus memaksimalkan total reward jangka panjang. Tantangannya: reward bisa tertunda (mengorbankan poin kecil untuk menang besar di akhir).

#Value-Based: DQN

DQN (Deep Q-Network) memakai jaringan saraf untuk memperkirakan Q-value: "berapa nilai mengambil aksi ini di state ini?" Agent memilih aksi dengan Q-value tertinggi. Kemenangan DQN di game Atari (2013-2015) membuktikan deep learning bisa belajar dari layar piksel dan skor, tanpa tahu aturan game.

Kunci kestabilannya: experience replay (mempelajari ulang transisi acak dari memori) dan target network (prediksi yang tidak berubah terlalu cepat).

#Policy-Based: PPO

PPO (Proximal Policy Optimization) mengoptimalkan kebijakan (policy) secara langsung dan menstabilkan training dengan membatasi seberapa besar perubahan kebijakan per update. PPO adalah algoritma default di RL modern — kuat, mudah dituning, dan dipakai untuk robotika serta game.

#RLHF dan GRPO: RL untuk LLM

#RLHF (Reinforcement Learning from Human Feedback)

Dari episode 16 kita tahu RLHF menyelaraskan LLM dengan preferensi manusia: SFT → reward model → optimasi dengan PPO. Langkah RL inilah yang membuat ChatGPT terasa "sopan dan membantu" dibanding model base-nya. Namun PPO untuk LLM itu kompleks: butuh reward model terpisah, dan training tidak stabil.

#GRPO dan Reasoning Models

GRPO (Group Relative Policy Optimization), dipopulerkan oleh DeepSeek-R1, menyederhanakan: alih-alih reward model terpisah, sekelompok output untuk satu prompt dinilai relatif satu sama lain (misal dengan rule: jawaban benar/format benar). Tidak perlu critic network — lebih murah dan lebih stabil.

Hasilnya terlihat jelas di model reasoning 2025-2026: model belajar menghasilkan chain-of-thought yang panjang sebelum menjawab, karena reward diberikan pada proses berpikir yang benar. GRPO adalah alasan utama model reasoning seperti R1 ada — dan teknik ini kini diadopsi luas di industri.

prompt: "Hitung 17 * 23"
  output A: "391"                     → benar (reward tinggi)
  output B: "Saya tidak tahu"         → salah (reward rendah)
  output C: "Hmm, 17*20=340, 17*3=51, 340+51=391" → benar (reward tinggi)
→ model belajar menghasilkan jalur berpikir ala C

#Agentic AI: Model sebagai Otak Agent

#Dari Model Menjawab ke Model Bertindak

Tren terbesar 2025-2026: model tidak hanya menjawab, tetapi bertindak — memanggil fungsi, mengkueri database, membuka browser, mengeksekusi kode. Ini agent: sistem di mana LLM mengatur langkah, memanggil tool, melihat hasil, lalu melanjutkan sampai tujuan tercapai.

#Tool Use dan Reasoning

• Tool use: model menghasilkan tool_call terstruktur (nama fungsi + argumen); aplikasi mengeksekusi dan mengembalikan hasil ke model. Contoh: mencari web untuk menjawab pertanyaan terkini.
• Reasoning (CoT): model "berpikir" dengan menulis langkah internal sebelum menjawab — sering ditampilkan atau disembunyikan tergantung konfigurasi.
• Loop: agent bisa bekerja berulang: observasi → keputusan → aksi → observasi baru, hingga selesai.

Arsitektur agent menentukan kualitas: pemilihan tool, format prompt, handling error, dan batas iterasi adalah keputusan engineering yang menentukan — bukan hanya kekuatan model.

#Keamanan Agent

Semua yang dipelajari di episode 17 menjadi kritis di sini: agent yang bisa memanggil fungsi punya permukaan serangan lebih besar. Prompt injection lewat tool output (hasil web, hasil kode) bisa membajak agent. Prinsip-prinsipnya: privilege minimal, validasi tool call dengan kode, dan manusia dalam loop untuk aksi berisiko.

#Praktik Sederhana: Agent dengan Tool

Framework agent (LangChain, OpenAI function calling, dll.) merangkum loopnya. Inti polanya sederhana:

Pola tool call dasar

def run_agent(prompt, tools):
    messages = [{"role": "user", "content": prompt}]
    for _ in range(10):                     # batas iterasi
        reply = llm.chat(messages, tools=tools)
        call = reply.tool_calls[0] if reply.tool_calls else None
 
        if call is None:
            return reply.content            # jawaban akhir
 
        result = execute_tool(call)         # aplikasi mengeksekusi
        messages.append(reply)
        messages.append({"role": "tool", "content": str(result)})
    return "Maksimum iterasi tercapai"

Perhatikan detail engineering yang membedakan agent aman dari agent berbahaya: batas iterasi (mencegah loop tak berujung), eksekusi tool oleh aplikasi (model tidak mengeksekusi sendiri), dan batas akses tool. Menjalankan kode dari tool output tanpa sandbox adalah salah satu kecelakaan terbesar di agentic AI.

#Common Pitfalls

• RL untuk masalah yang salah: butuh reward yang jelas dan environment yang bisa disimulasikan; untuk teks biasa supervised lebih tepat.
• GRPO reward terlalu longgar: reward hanya "format benar" bisa membuat model menghasilkan reasoning yang tidak relevan.
• Agent tanpa batas iterasi: loop tak berujung membakar biaya.
• Eksekusi tool tanpa validasi: percaya output tool penuh — jebakan injection.
• Tanpa observability agent: trace setiap langkah agent (tool dipanggil, hasil, token) agar bisa di-debug.

#Penutup

Pada episode 22 ini, kalian telah mengenal RL dan agentic AI.

Inti yang harus dibawa pulang:

• RL belajar dari reward berurutan; DQN (value-based) dan PPO (policy-based) adalah dua jalur utama.
• RLHF menyelaraskan LLM; GRPO melatih reasoning model dengan perbandingan relatif tanpa reward model.
• Agent = model yang bertindak: tool use, reasoning, dan loop observasi-aksi.
• Keamanan agent = privilege minimal + validasi tool call + manusia untuk aksi berisiko.

Di episode 23 selanjutnya kita akan melihat peta keseluruhan: ekosistem & tren modern 2026 — PyTorch 2.11 vs TensorFlow 2.21/Keras 3, JAX, Hugging Face, vLLM, dan perangkat keras Hopper/Blackwell/NPU, plus panduan memilih framework. Sampai jumpa di episode 23!