Belajar Observability dengan LGTM Stack - Metrics dengan Mimir - Introduction & Architecture

#Pendahuluan

Komponen pertama dari LGTM yang akan kalian dalami adalah Grafana Mimir — backend penyimpanan metrik yang kompatibel dengan Prometheus dan dirancang untuk skala besar. Mimir mengambil peran tempat semua metrik aplikasi dan infrastruktur kalian disimpan dalam jangka panjang.

Episode ini membahas arsitektur komponen Mimir, perbandingan dengan Prometheus dan kapan harus memakai masing-masing, jalur remote write, serta tipe-tipe metrik dan pertimbangan cardinality. Pahami konsep di episode ini karena query PromQL di episode 7 akan berjalan di atas Mimir.

#Grafana Mimir Overview

#Prometheus-Compatible TSDB

Mimir adalah TSDB (Time Series Database) yang berbicara protokol Prometheus. Artinya, seluruh ekosistem Prometheus — bahasa query PromQL, format metrik, dan remote write — berfungsi langsung tanpa modifikasi. Ini membuat migrasi dari Prometheus ke Mimir sangat mulus.

Fitur pembeda Mimir dibandingkan Prometheus tunggal:

• Horizontally scalable architecture: tiap komponen bisa dipecah ke banyak instance, tidak ada titik tunggal.
• Long-term storage: data disimpan di object storage seperti S3, bukan di disk lokal, sehingga retention bisa bertahun-tahun.
• Multi-tenancy support: satu cluster Mimir melayani banyak tim dengan isolasi data — dibahas di episode 25.
• High availability design: replikasi bawaan memastikan data tetap aman saat instance gagal.

blocks_storage:
  backend: filesystem
  filesystem:
    dir: /data/blocks
  tsdb:
    dir: /data/tsdb
  bucket_store:
    sync_dir: /data/bucket-sync

Konfigurasi di atas adalah versi lengkap yang dipakai di episode 4. Pada produksi, bagian backend: filesystem diganti dengan s3 atau gcs — dibahas di episode 22.

#Mimir Architecture

Mimir memecah alur data menjadi komponen kecil yang masing-masing bisa diskalakan sendiri:

• Distributor: menerima data remote write, memvalidasi, dan mereplikasi ke ingester. Dia adalah gerbang masuk seluruh metrik.
• Ingester: menyimpan data dalam memori untuk periode singkat dan menulis blok ke object storage. Data terbaru dibaca dari sini.
• Querier: mengeksekusi query PromQL dengan menggabungkan data ingester dan object storage.
• Query-frontend: menerima query dari pengguna, membagi query besar, dan meng-cache hasil.
• Store-gateway: membaca blok dari object storage dan mengoptimalkan pencarian.
• Compactor: menggabungkan blok kecil menjadi blok besar dan menerapkan retention.
• Ruler: mengevaluasi aturan recording dan alerting — dibahas di episode 19.

remote write -> distributor -> ingester -> object storage
                         ^                        |
query -> query-frontend -> querier <- store-gateway

Diagram distributor -> ingester -> object storage adalah alur inti penyimpanan metrik. Sedangkan jalur query melewati query-frontend, querier, dan store-gateway yang membaca dari object storage.

#Prometheus vs Mimir

#Kapan Memakai Masing-masing

• Gunakan Prometheus saat: skala kecil, satu cluster, retention pendek, dan kebutuhan operasional sederhana. Prometheus juga bagus sebagai collector edge yang melakukan scraping di lapangan.
• Gunakan Mimir saat: banyak cluster atau banyak tim, retention panjang, kebutuhan query global, dan skala besar. Mimir tidak melakukan scraping; ia menerima remote write dari Prometheus atau agent.

#Migration Path dan Compatibility Layer

Jalur migrasi umum adalah mempertahankan Prometheus sebagai scraper sekaligus menambahkan remote write menuju Mimir. Dengan begitu, metrik tetap tersedia di Prometheus untuk kebutuhan jangka pendek dan disalin ke Mimir untuk jangka panjang.

remote_write:
  - url: http://mimir:9009/api/v1/push
    headers:
      X-Scope-OrgID: local

Blok remote_write di atas dipasang di config Prometheus. Header X-Scope-OrgID wajib ada saat multi-tenancy diaktifkan; di mode lokal nilainya bebas.

#Tipe-Tipe Metrik dan Cardinality

#Metric Types

Mimir memahami empat tipe metrik Prometheus:

• Counter: nilai monotonik naik, misalnya http_requests_total. Hanya bisa direset.
• Gauge: nilai naik turun, misalnya temperature_celsius.
• Histogram: distribusi pengamatan, menyimpan bucket kumulatif untuk menghitung persentil.
• Summary: distribusi dengan persentil dihitung di sisi klien, cocok bila tidak membutuhkan agregasi.

counter | gauge | histogram | summary

Ingat pola counter | gauge | histogram | summary ini; tipe yang dipilih menentukan fungsi query yang valid, seperti rate hanya untuk counter.

#Bahaya Cardinality

Cardinality adalah jumlah kombinasi unik label pada sebuah metrik. Contoh: metrik dengan label user_id yang bernilai seribu akan menciptakan seribu deret waktu. Kalikan dengan beberapa label lain, jumlahnya meledak dan membebani storage serta query.

• Batasi label pada nilai dengan jumlah kecil dan stabil, seperti method, status, atau service.
• Hindari label bernilai tinggi seperti user_id, email, atau trace_id.
• Manfaatkan fitur seperti adaptive metrics di Mimir untuk mengelola cardinality otomatis — dibahas di episode 35.

#Penutup

Di episode 6 ini kalian memahami bahwa Mimir adalah TSDB kompatibel Prometheus dengan arsitektur modular yang scalable horizontal, mengenal peran tiap komponen dari distributor hingga ruler, mengetahui kapan memakai Prometheus atau Mimir, memahami jalur remote write, serta tipe-tipe metrik dan bahaya cardinality.

Inti yang harus dibawa pulang:

• Mimir kompatibel dengan Prometheus dan menyimpan data di object storage.
• Arsitektur terpecah: distributor, ingester, querier, store-gateway, compactor, ruler.
• Prometheus untuk skala kecil, Mimir untuk retention panjang dan multi-tim.
• Remote write adalah jembatan migrasi dari Prometheus ke Mimir.
• Empat tipe metrik: counter, gauge, histogram, summary.
• Cardinality tinggi adalah musuh utama biaya dan performa.

Di episode 7 selanjutnya kita akan membahas PromQL — bahasa query Prometheus yang dipakai untuk membaca semua metrik di Mimir, dari instant vector dan range vector, operator agregasi, pola query umum seperti rate dan histogram_quantile, hingga best practices performa. Dashboard kalian akan mulai berbicara dengan bahasa metrik.