Belajar Observability dengan LGTM Stack - CI/CD & Infrastructure as Code

#Pendahuluan

Dashboard yang diedit lewat klik di UI mudah rusak dan sulit ditelusuri perubahannya. Di lingkungan yang dinamis, observability harus dikelola seperti kode: masuk git, di-review, diuji, lalu di-deploy otomatis. Inilah inti GitOps for observability.

Episode ini membahas prinsip GitOps, pemakaian Terraform provider Grafana, integrasi pengujian di CI/CD, serta Jsonnet dan Grafonnet untuk dashboard yang bisa diprogram.

#GitOps for Observability

#Dashboard dan Alert Rules sebagai Kode

Dashboard as code: dashboard disimpan sebagai JSON atau Jsonnet di repository.
Alert rules as code: alert rule ditulis di Terraform atau YAML, bukan diklik di UI.
Configuration versioning: setiap perubahan terekam dan bisa di-rollback.
Automated deployment: perubahan di main branch otomatis diterapkan ke Grafana.

Alur GitOps observability

git commit -> review -> merge -> apply ke Grafana

Pola git commit -> review -> merge -> apply memastikan tidak ada perubahan yang lolos tanpa jejak.

#Terraform Provider Grafana

#Mengelola Grafana sebagai Kode

Terraform provider Grafana mengelola data source, dashboard, dan alert rules:

main.tf - data source Terraform

provider "grafana" {
  url  = "http://localhost:3000"
  auth = var.grafana_api_token
}
 
resource "grafana_data_source" "mimir" {
  type = "prometheus"
  name = "Mimir"
  url  = "http://mimir:9009/prometheus"
}

Blok resource "grafana_data_source" "mimir" membuat data source Mimir secara deklaratif — bisa dibuat ulang di environment mana pun.

#Dashboard dan Alert Rules

Dashboard provisioning: dashboard di-upload dari file JSON ke Grafana.
Data source management: semua data source dikelola sebagai resource.
Alert rules deployment: alert rule dikelola lewat grafana_rule_group.

Apply Terraform

terraform init
terraform apply -auto-approve

Perintah terraform apply -auto-approve menerapkan seluruh konfigurasi observability ke Grafana.

#Integrasi CI/CD

#Pengujian Otomatis

Automated testing of dashboards: verifikasi JSON dashboard valid sebelum merge.
Alert rule validation: pastikan setiap alert rule berisi query yang valid.
PromQL/LogQL/TraceQL linting: periksa sintaks query secara otomatis.
Synthetic monitoring: probe otomatis yang memantau endpoint aplikasi.

Konsep job CI untuk linting

steps:
  - name: Lint dashboard
    run: jq empty dashboards/*.json
  - name: Validate alert rules
    run: terraform validate

Tahap Lint dashboard di pipeline menolak pull request dengan dashboard JSON yang rusak sejak awal.

#Keamanan Pipeline

Jangan pernah menaruh token Grafana di repository. Gunakan secret dari environment CI dan batasi scope service account.

#Jsonnet dan Grafonnet

#Dashboard yang Bisa Diprogram

Jsonnet adalah bahasa templating yang menyempurnakan JSON, dan Grafonnet adalah library Jsonnet untuk dashboard Grafana:

contoh.jsonnet - dashboard Grafonnet

local grafana = import "grafonnet/grafana.libsonnet";
 
{
  grafanaDashboard('Checkout Overview')
  .addTimeSeries('Request Rate', { datasource: '$Mimir' })
}

Kode grafanaDashboard('Checkout Overview') membangun dashboard dari komponen yang bisa dipakai ulang.

#Manfaat Grafonnet

Reusable dashboard components: satu blok panel dipakai di banyak dashboard.
Templated dashboards: variabel dan panel digenerate dari data.
Dashboard generation: puluhan dashboard dihasilkan dari satu template.

Tip

Mulai dari Terraform untuk data source dan alert rules, lalu tingkatkan ke Jsonnet/Grafonnet saat jumlah dashboard mulai banyak dan berulang. Keseimbangan antara kesederhanaan dan kekuatan templating adalah kuncinya.

#Penutup

Di episode 30 ini kalian memahami prinsip GitOps dengan dashboard dan alert rules sebagai kode, pemakaian Terraform provider Grafana untuk data source dan dashboard, pengujian otomatis dan linting di pipeline CI/CD, serta Jsonnet dan Grafonnet untuk dashboard terprogram.

Inti yang harus dibawa pulang:

Dashboard dan alert rules dikelola lewat git, bukan klik UI.
Terraform mendeklarasikan data source dan alert rules.
Pipeline menguji, me-lint, dan menerapkan konfigurasi.
Grafonnet memungkinkan dashboard diprogram ulang.
Jangan pernah commit kredensial Grafana.

Di episode 31 selanjutnya kita akan membahas fitur lanjutan Grafana — unified alerting, Explore interface, transformasi dan override di dashboard, ekosistem plugin, serta fitur enterprise. Grafana yang selama ini kalian pakai ternyata jauh lebih dalam dari yang terlihat.