Belajar Elasticsearch - Text Analysis & Analyzers

#Pendahuluan

Di episode 6 kalian memakai query match — tapi pernahkah bertanya mengapa match: "kaos" bisa menemukan dokumen "KAOS POLOS" dengan huruf kapital? Jawabannya bukan di query, melainkan di lapisan yang berjalan sebelum data masuk: text analysis. Inilah yang membuat Elasticsearch jauh lebih pintar daripada pencocokan string biasa. Episode 7 membedah proses analysis: karakter filter, tokenizer, dan token filter; analyzer bawaan; cara mengetes analyzer dengan _analyze API; membuat custom analyzer; normalizers; serta use case nyata — autocomplete, case-insensitive search, stemming, dan sinonim.

#Proses Analysis

Saat sebuah field bertipe text diindeks, teksnya melalui tiga tahap berurutan:

1. Character filter — memproses karakter mentah sebelum dipecah: menghapus tag HTML, mengonversi simbol seperti & menjadi "and".
2. Tokenizer — memecah teks menjadi token berdasarkan aturan: whitespace, kata, atau n-gram.
3. Token filter — memodifikasi token yang sudah jadi: lowercase, menghapus stop words, menggabungkan sinonim, atau menyederhanakan ke kata dasar.

char filter  : KAOS POLOS Premium
tokenizer    : [KAOS] [POLOS] [Premium]
token filter : [kaos] [polos] [premium]

Urutannya selalu: char filter → tokenizer → token filter. Kombinasi ketiganya disebut analyzer.

#Built-in Analyzers

standard adalah default untuk field text. Untuk bahasa tertentu, ada analyzer khusus seperti english yang sekaligus menerapkan stemming — misalnya english akan mengubah "running", "runs" menjadi akar "run".

#Mengetes Analyzer dengan _analyze API

Sebelum menerapkan analyzer ke mapping, selalu tes dulu lewat endpoint POST /_analyze — ia menunjukkan persis bagaimana teks diproses:

{ "analyzer": "standard", "text": "Kaos POLOS Premium!" }

{
  "tokens": [
    { "token": "kaos", "start_offset": 0, "end_offset": 4, "type": "<ALPHANUM>", "position": 0 },
    { "token": "polos", "start_offset": 5, "end_offset": 10, "type": "<ALPHANUM>", "position": 1 },
    { "token": "premium", "start_offset": 11, "end_offset": 18, "type": "<ALPHANUM>", "position": 2 }
  ]
}

Perhatikan: ! dihilangkan dan semua token jadi lowercase. Saat nanti hasil pencarian terasa aneh, _analyze adalah alat debugging pertama yang harus kalian pakai.

#Membuat Custom Analyzer

Analyzer bawaan tidak selalu cocok. Misalnya untuk toko pakaian, kita ingin: menghapus strip ("kaos-polos" jadi "kaos polos"), memecah di whitespace, dan lowercase. Definisi custom analyzer di settings index:

{
  "settings": {
    "analysis": {
      "char_filter": { "strip_dash": { "type": "pattern_replace", "pattern": "-", "replacement": " " } },
      "analyzer": {
        "produk_analyzer": { "type": "custom", "char_filter": ["strip_dash"], "tokenizer": "whitespace", "filter": ["lowercase"] }
      }
    }
  }
}

Lalu pakai analyzer ini di mapping:

{
  "mappings": {
    "properties": { "name": { "type": "text", "analyzer": "produk_analyzer" } }
  }
}

Aturan penting: analyzer index (saat data masuk) dan search (saat query) tidak harus sama, tapi untuk konsistensi hasil sebaiknya sama. Kalian bisa menetapkan search_analyzer terpisah jika memang butuh.

#Normalizers dan N-gram

#Normalizers untuk Keyword

Field keyword tidak dianalisis — tapi ada pengecualian: normalizer. Normalizer menerapkan hanya karakter filter dan token filter (tanpa tokenizer), sehingga cocok untuk membuat exact match yang case-insensitive:

{
  "settings": {
    "analysis": {
      "normalizer": {
        "lowercase_normalizer": { "type": "custom", "filter": ["lowercase"] }
      }
    }
  },
  "mappings": {
    "properties": {
      "kode_produk": { "type": "keyword", "normalizer": "lowercase_normalizer" }
    }
  }
}

Dengan ini, query term terhadap kode_produk bernilai "KAOS-001" dan "kaos-001" sama-sama cocok — tanpa mengorbankan performa keyword.

#N-gram dan Edge N-gram

N-gram memecah teks menjadi potongan huruf berurutan. edge_ngram hanya mengambil potongan dari awal kata. Ini adalah teknik klasik untuk autocomplete: saat pengguna mengetik "kao", index yang di-build dengan edge n-gram sudah punya token k, ka, kao, kaos — jadi respons datang seketika.

{
  "settings": {
    "analysis": {
      "tokenizer": {
        "autocomplete_tokenizer": {
          "type": "edge_ngram", "min_gram": 2, "max_gram": 10,
          "token_chars": ["letter", "digit"]
        }
      }
    }
  }
}

Analogi: search_analyzer di sini biasanya tetap standard, sedangkan analyzer saat indexing memakai edge n-gram. Dengan begitu pencarian "kaos" tidak membatasi jumlah huruf, tapi index-nya sudah siap untuk prediksi saat mengetik.

#Use Case Nyata

Sinonim dikonfigurasi dengan token filter synonym yang memuat daftar pemetaan:

{
  "filter": {
    "produk_synonym": {
      "type": "synonym",
      "synonyms": ["kaos, tshirt, t-shirt", "celana, trousers, pants"]
    }
  }
}

Dengan filter ini, pencarian "tshirt" otomatis ikut mencocokkan dokumen yang memakai kata "kaos" — relevansi naik tanpa mengubah data.

#Penutup

Di episode 7 kalian memahami proses analysis: karakter filter, tokenizer, dan token filter yang berjalan berurutan; analyzer bawaan seperti standard dan whitespace; cara mengetes dengan _analyze API; membuat custom analyzer dan normalizers; teknik edge n-gram untuk autocomplete; serta use case stemming dan sinonim.

Inti yang harus dibawa pulang:

• Alur analysis selalu char filter → tokenizer → token filter.
• _analyze API adalah alat debugging utama untuk masalah relevansi.
• Analyzer bekerja saat indexing; perubahan analyzer butuh reindex.
• Normalizer membuat keyword case-insensitive tanpa kehilangan performa.
• Edge n-gram adalah pola standar untuk autocomplete.
• Synonym dan stemming menaikkan relevansi tanpa mengubah data asli.

Sekarang kalian bisa menyesuaikan bagaimana kata diproses. Saatnya menyusun pencarian yang lebih kompleks. Di episode 8 kita masuk ke advanced search: query compound dan boolean — bool dengan must, should, must_not, filter, boosting, constant_score, dan dis_max, plus strategi filter caching dan kapan memakai filter dibanding query. Sampai jumpa!