Belajar Elasticsearch - Aggregations - Analytics & Data Summarization

#Pendahuluan

Pencarian menjawab "dokumen mana yang cocok". Tapi bisnis tidak bertanya begitu saja — mereka bertanya "berapa total penjualan bulan ini?", "kategori apa yang paling laku?", "berapa harga rata-rata per kategori?". Jawabannya bukan kumpulan dokumen, melainkan agregasi: perhitungan statistik yang berjalan langsung di dalam Elasticsearch, tanpa memindahkan data ke aplikasi. Episode 9 membahas aggregation — salah satu fitur yang membuat Elasticsearch unik: metrics (sum, avg, min, max, stats, cardinality, percentiles), bucket (terms, histogram, date_histogram, range, nested), dan pipeline (moving average, derivative, cumulative sum, bucket sorting). Dengan ini kalian bisa membangun dashboard analytics tanpa tool tambahan.

#Konsep Dasar Aggregation

Aggregation dikirim bersama query di blok aggs lewat POST /produk/_search. Semua hit yang cocok dengan query dikelompokkan, dan setiap aggregation menghitung hasilnya. Contoh paling sederhana:

{ "size": 0, "aggs": { "rata_harga": { "avg": { "field": "price" } } } }

Perhatikan "size": 0 — kita tidak butuh dokumennya, hanya hasil agregasinya. Ini pola standar: query untuk menentukan data apa, aggregation untuk menentukan apa yang dihitung.

#Metrics Aggregations

Metrics menghitung nilai dari semua dokumen yang cocok:

{
  "size": 0,
  "aggs": {
    "harga_stats": { "stats": { "field": "price" } },
    "merek_unik": { "cardinality": { "field": "brand.keyword" } },
    "harga_percentiles": { "percentiles": { "field": "price" } }
  }
}

cardinality berguna untuk metrik "jumlah pengguna unik per hari" tanpa menyimpan semua ID; percentiles menjawab "harga berapa yang ada di atas 90% produk lain" — dasar fitur filter harga di e-commerce.

#Bucket Aggregations

Bucket mengelompokkan dokumen ke dalam kategori — lalu di dalam tiap bucket bisa dijalankan aggregation lagi. Ini konsep GROUP BY-nya Elasticsearch.

#Terms Aggregation

terms mengelompokkan berdasarkan nilai unik field keyword:

{
  "size": 0,
  "aggs": { "per_kategori": { "terms": { "field": "category.keyword", "size": 10 } } }
}

Hasilnya daftar kategori diurutkan berdasarkan jumlah dokumen. Default hanya mengambil top 10 — atur size lebih besar jika butuh lebih banyak.

#Histogram dan Date Histogram

histogram mengelompokkan numerik ke dalam interval tetap; date_histogram melakukan hal yang sama untuk rentang waktu — aggregation paling penting untuk data time-series:

{
  "size": 0,
  "aggs": {
    "per_bulan": {
      "date_histogram": { "field": "@timestamp", "calendar_interval": "month" },
      "aggs": { "total_penjualan": { "sum": { "field": "amount" } } }
    }
  }
}

Ini adalah pola standar untuk grafik "penjualan per bulan" di dashboard — query dan aggregation berjalan dalam satu request.

#Range Aggregation

range mengelompokkan berdasarkan interval yang kita tentukan sendiri, misalnya segmen harga:

{
  "size": 0,
  "aggs": {
    "segmen_harga": {
      "range": { "field": "price", "ranges": [ { "to": 50000 }, { "from": 50000, "to": 100000 }, { "from": 100000 } ] }
    }
  }
}

#Nested Aggregations

Aggregation bisa bertumpuk — bucket di dalam bucket. Contoh: jumlah produk per kategori, dan di dalam tiap kategori, rata-rata harga:

{
  "size": 0,
  "aggs": { "per_kategori": { "terms": { "field": "category.keyword" }, "aggs": { "rata_harga": { "avg": { "field": "price" } } } } }
}

Jika field bertipe nested, gunakan blok nested khusus agar aggregation menghormati batas antar objek — di episode 5 kita bahas kenapa ini penting.

#Pipeline Aggregations

Pipeline aggregation bekerja di atas hasil bucket lain, bukan dokumen mentah. Ini yang memungkinkan analisis deret waktu.

{
  "size": 0,
  "aggs": {
    "per_bulan": {
      "date_histogram": { "field": "@timestamp", "calendar_interval": "month" },
      "aggs": { "total_penjualan": { "sum": { "field": "amount" } }, "rata_gerak": { "moving_avg": { "buckets_path": "total_penjualan" } }, "perubahan": { "derivative": { "buckets_path": "total_penjualan" } } }
    },
    "kumulatif": { "cumulative_sum": { "buckets_path": "per_bulan>total_penjualan" } }
  }
}

• moving_avg — menghaluskan fluktuasi, bagus untuk mendeteksi tren di balik data berisik.
• derivative — menghitung laju perubahan antar bucket (penjualan naik/turun).
• cumulative_sum — akumulasi bertahap, misal total kumulatif tahun ini.
• Bucket sorting — atur urutan hasil bucket berdasarkan metric anaknya, bukan hanya doc count, lewat bucket_sort pipeline.

#Significant Terms

significant_terms adalah bucket aggregation yang menarik: ia menemukan nilai field yang sangat tidak biasa dibandingkan latar belakang seluruh data. Contohnya: di antara produk yang terjual minggu ini, merek apa yang proporsinya melonjak dibanding tren normal? Ini dasar untuk fitur "trending" dan deteksi anomali sederhana.

{
  "size": 0,
  "query": { "range": { "@timestamp": { "gte": "now-7d" } } },
  "aggs": { "merek_trending": { "significant_terms": { "field": "brand.keyword" } } }
}

Hasilnya daftar merek yang secara statistik paling "menonjol" di subset data ini — tanpa perlu tahu definisi trending sebelumnya.

#Kesalahan Umum

1. Lupa size: 0. Jika tidak, Elasticsearch tetap mengembalikan dokumen hit yang tidak kalian butuhkan — boros bandwidth dan memori.

2. Aggregation di field text. Aggregation butuh doc_values — gunakan keyword sub-field, bukan text.

3. terms dengan size default. Default 10 bucket bisa menyesatkan. Set size eksplisit sesuai kebutuhan.

4. Date histogram interval tidak cocok dengan granularitas data. calendar_interval dan fixed_interval berbeda tujuannya — pilih sesuai, jangan asal "1d" untuk semua.

5. Pipeline aggregation tanpa buckets_path yang benar. Path harus menunjuk aggregation anak secara hierarkis, misal per_bulan>total_penjualan.

#Penutup

Di episode 9 kalian menguasai aggregation: metrics (sum, avg, min, max, stats, extended_stats, cardinality, percentiles, percentile_ranks), bucket (terms, histogram, date_histogram, range, nested, significant_terms), dan pipeline (moving_avg, derivative, cumulative_sum, bucket_sort) — lengkap dengan pola bucket-bertumpuk untuk dashboard analytics.

Inti yang harus dibawa pulang:

• size: 0 bila hanya butuh hasil aggregation, bukan dokumen.
• Metrics untuk nilai statistik, bucket untuk pengelompokan.
• date_histogram adalah fondasi analisis deret waktu.
• Bucket bisa bertumpuk; pipeline bekerja di atas hasil bucket.
• significant_terms menemukan nilai yang tidak biasa secara statistik.

Sekarang data bisa disimpan, dicari, dan dianalisis. Saatnya berpikir tentang siklus hidup data. Di episode 10 kita bahas Index Lifecycle Management (ILM): arsitektur hot-warm-cold-frozen, rollover, fase-fase ILM, index priority, allocation filtering, pembuatan policy, dan searchable snapshots untuk tier frozen. Sampai jumpa!