Belajar Hermes AI Agent - Ops & Governance

#Pendahuluan

Episode 20 memberi kalian semua sinyal untuk melihat apa yang terjadi di sistem agent. Sekarang tibalah pertanyaan yang lebih sulit: apa yang kalian lakukan ketika sinyal itu menunjukkan masalah, dan siapa yang berhak mengambil keputusan? Di episode 21 kita berpindah dari "memantau" ke "mengoperasikan" — urusan sehari-hari tim yang bertanggung jawab atas agent yang sudah berproduksi.

Topik kali ini bukan tentang kode yang lebih pintar, melainkan tentang proses yang lebih disiplin: playbook insiden, mekanisme rollback dan safe mode, kebijakan governance, serta dokumentasi responsible AI. Peta jalan episode ini:

• Playbook operasional: incident response, rollback, dan safe mode.
• Governance policies untuk penggunaan dan deployment agent.
• Dokumentasi praktik responsible AI.
• Membangun budaya on-call yang sehat untuk agent.

#Playbook Insiden: Ketika Agent Berulah

Observability di episode 20 memberitahu kalian bahwa ada yang salah. Yang membedakan tim profesional dari tim amatir adalah apa yang terjadi setelah itu. Insiden agent biasanya jatuh ke tiga kategori, dan masing-masing punya respons pertamanya sendiri:

Kunci playbook yang baik adalah urutan tindakan yang pasti di tengah kepanikan. Saat alarm berbunyi di tengah malam, pikiran tidak bekerja optimal — maka tuliskan langkahnya sebelumnya. Contoh playbook singkat untuk insiden agent:

1. Stabilkan: aktifkan safe mode atau rollback ke rilis sehat. Jangan debugging sebelum sistem aman.
2. Isolasi: matikan tool yang terlibat, batasi traffic ke profile yang bermasalah.
3. Investigasi: kumpulkan trace percakapan yang gagal, bandingkan dengan baseline.
4. Perbaiki: rilis fix kecil, uji di canary, jangan langsung ke seluruh traffic.
5. Belajar: tulis postmortem, tambahkan alert atau test yang mencegah terulang.

#Rollback dan Safe Mode sebagai Jaring Pengaman

Dua mekanisme di episode 19 dan 20 sekarang menjadi alat operasional resmi: rollback mengembalikan perilaku ke rilis sehat, dan safe mode menurunkan risiko tanpa benar-benar mematikan layanan. Safe mode adalah mode darurat yang mengubah agen menjadi konservatif: hanya tool read-only yang diizinkan, semua keputusan berisiko di-escalate ke manusia, dan jawaban pasti diutamakan daripada jawaban kreatif.

mode: safe
tools:
  allowed:
    - search-readonly
    - db-readonly
    - escalate-human
  denied:
    - execute-command
    - send-email
    - delete-record
behavior:
  allow_creative: false
  escalate_on_low_confidence: true
  max_attempts: 1

Aktifkan safe mode secepat mungkin saat insiden terjadi, selagi tim memutuskan rollback penuh atau perbaikan bertahap:

hermes mode set --env production --safe

Perlu diingat bahwa safe mode adalah jaring pengaman, bukan tempat tinggal permanen. Pasang aturan waktu: safe mode harus ditinjau maksimal dalam beberapa jam, dan tim harus punya jalur jelas untuk keluar — entah rollback, fix, atau keputusan resmi untuk menurunkan layanan.

#Governance Policies untuk Penggunaan dan Deployment

Governance adalah seperangkat aturan tentang siapa boleh melakukan apa. Tanpa governance, siapapun bisa mengubah prompt produksi, menambah tool berbahaya, atau men-deploy model yang belum diuji. Hermes menyediakan policy layer yang memeriksa setiap operasi — dari deployment sampai pemanggilan tool — terhadap aturan yang telah disepakati tim.

apiVersion: policy.hermes.dev/v1
kind: DeployPolicy
spec:
  allowedRoles:
    - deploy-engineer
    - release-manager
  requireEvalScore: 0.85
  requireApprover: true
  environments:
    production:
      requireCanary: true
      minCanaryPercent: 10
    staging:
      requireCanary: false

Aturan di atas mewajibkan tiga hal untuk deploy ke production: peran yang berwenang, skor evaluasi minimal, dan persetujuan manusia. Catatan penting: governance harus dicatat dan diaudit. Setiap operasi yang ditolak atau disetujui meninggalkan jejak — siapa, kapan, dan kenapa. Jejak ini yang nantinya menjadi bukti kalau ada perselisihan atau investigasi.

#Mendokumentasikan Praktik Responsible AI

Pilar terakhir governance adalah dokumentasi. Kode yang baik tanpa dokumentasi keputusan membuat tim berikutnya menebak-nebak; begitu juga agent. Dokumentasi responsible AI untuk project agent sebaiknya menjawab lima pertanyaan:

• Tujuan: apa yang boleh dan tidak boleh dilakukan agent ini?
• Data: data apa yang diproses, di mana disimpan, dan bagaimana dibersihkan?
• Pembatas: apa yang terjadi saat agent tidak yakin, dan kapan harus menyerah ke manusia?
• Pengawasan: siapa yang bertanggung jawab atas output agent, dan bagaimana mereka diaudit?
• Dampak: apa konsekuensi jika agent salah, dan siapa yang menanggungnya?

# Responsible AI - Agent Support
 
1. Agent dilarang menampilkan informasi pribadi pengguna lain.
2. Semua keputusan yang memengaruhi keuangan harus di-escalate ke manusia.
3. Output agent yang dilaporkan pengguna akan direview bulanan.
4. Perubahan prompt utama wajib mendapat persetujuan product owner.
5. Daftar tool dan izinnya direview setiap kali ada rilis baru.

Dokumentasi ini bukan pajangan — ia adalah kontrak perilaku antara tim teknis, pemilik produk, dan pemangku kepentingan. Saat ada keraguan tentang perilaku agent, dokumen ini yang menjadi acuan. Pastikan ia selalu diperbarui setiap kali ada perubahan kebijakan, bukan dibiarkan usang di dalam repository.

#Budaya On-Call yang Sehat

Governance dan playbook tidak akan berjalan tanpa budaya on-call yang sehat. Beberapa praktik yang kami pelajari dari menjalankan agent di production: jangan pernah menaruh tanggung jawab insiden di satu orang tanpa dukungan; putuskan dengan jelas apakah alert memerlukan respons malam atau bisa ditunda pagi; dan rutin melakukan game day — simulasi insiden — supaya playbook teruji sebelum dipakai sungguhan. Sebuah insiden yang bisa di-handle dengan tenang adalah hasil latihan, bukan keberuntungan.

#Penutup

Episode 21 melengkapi sisi operasional agent: playbook insiden yang berurutan dari stabilkan sampai belajar, rollback dan safe mode sebagai jaring pengaman saat perilaku menyimpang, governance policies yang mengatur siapa boleh deploy dan tool apa yang boleh dipakai, serta dokumentasi responsible AI yang menjadi kontrak perilaku bagi seluruh tim.

Inti yang harus dibawa pulang:

• Stabilkan sistem dulu sebelum debugging — urutan itu paling sering dilanggar.
• Safe mode dan rollback harus bisa diaktifkan dalam hitungan detik.
• Governance tanpa jejak audit hanyalah harapan baik.
• Dokumentasi responsible AI adalah kontrak perilaku, bukan pajangan.
• Latihan insiden (game day) membuat playbook teruji sebelum dipakai sungguhan.

Di episode 22 — episode penutup seri ini — kita akan merangkum semuanya menjadi satu paket produksi: checklist final keamanan, reliabilitas, monitoring, dan etika; perawatan sehari-hari untuk model config, plugin, dan umpan balik pengguna; serta cara membuat arsitektur agent yang siap menghadapi masa depan. Sampai jumpa!