Belajar Deep Learning - NLP Modern: Tokenizer, Embeddings & LLM Dasar

#Pendahuluan

Kita sudah membedah transformer di episode 12 secara teori. Sekarang saatnya menerapkannya pada bahasa nyata: bagaimana teks diubah menjadi angka, bagaimana model bahasa dipelajari dari korpus, dan bagaimana memanfaatkan model bahasa yang sudah dilatih untuk tugas spesifik. Ini adalah gerbang menuju LLM — topik yang mendominasi industri AI sejak 2023 dan semakin kuat di 2026.

Yang akan kalian pelajari di episode ini — tokenizer, embedding, arsitektur BERT/LLaMA, dan fine-tuning — adalah fondasi yang sama untuk memahami semua model bahasa modern, dari yang kecil sampai yang milyaran parameter.

#Tokenization: Teks Menjadi Angka

Model tidak membaca teks. Sebelum masuk transformer, teks dipecah menjadi token — unit teks terkecil yang diproses. Strategi tokenization menentukan efisiensi dan kualitas model.

#Dari Word ke Subword

• Word tokenization: pecah per kata. Sederhana, tapi vocab membengkak (ribuan bentuk kata: "belajar", "belajar", "pembelajaran" berbeda token) dan kata tak dikenal menjadi [UNK].
• Character tokenization: pecah per karakter. Vocab kecil, tapi sequence jadi sangat panjang.
• Subword (standar modern): pecah menjadi potongan kata. "belajar" mungkin jadi ["bel", "ajar"]. Kata umum jadi satu token; kata langka dipecah. Vocab terkendali dan kata tak dikenal tetap bisa direpresentasikan.

#Byte Pair Encoding (BPE)

BPE membangun vocab subword secara iteratif:

1. Mulai dari setiap karakter unik sebagai token.
2. Berulang kali, gabungkan pasangan token yang paling sering muncul menjadi satu token baru.
3. Berhenti saat vocab mencapai ukuran target (misal 32.000 atau 100.000 token).

Hasilnya vocab yang kompak namun ekspresif. Inilah tokenizer yang dipakai GPT, LLaMA, dan hampir semua model modern. Perhatikan kode token — dua model dengan BPE yang berbeda menghasilkan token berbeda untuk teks yang sama.

Melihat tokenization

from transformers import AutoTokenizer
 
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
tokens = tokenizer.tokenize("Deep learning is fun!")
print(tokens, tokenizer.convert_tokens_to_ids(tokens))

#Embedding: Makna dalam Bentuk Vektor

Embedding memetakan setiap token ke vektor angka (misal 768 dimensi untuk BERT base) yang dipelajari bersama model. Dua vektor yang dekat berarti dua token yang semantiknya mirip. Sifat ini luar biasa berguna: "kucing" dan "anjing" lebih dekat daripada "kucing" dan "matematika" — jarak dalam ruang vektor mencerminkan kemiripan makna.

Layer nn.Embedding(vocab, d_model) di episode 12 adalah implementasi teknisnya. Posisi token dan segmen juga punya embedding tersendiri, dijumlahkan sebelum masuk blok transformer.

#Arsitektur BERT dan LLaMA-class

#BERT: Encoder untuk Pemahaman

BERT dilatih dengan dua tujuan: masked language modeling (tebak token yang dihapus) dan next sentence prediction. Karena encoder melihat kiri dan kanan, BERT sangat baik untuk memahami — klasifikasi, entitas, menjawab pertanyaan ekstraktif. Embedding dari [CLS] token sering dipakai sebagai ringkasan seluruh kalimat.

#LLaMA-class: Decoder untuk Generasi

Lalu GPT dan LLaMA melatih decoder-only dengan satu tujuan: next-token prediction (tebak token berikutnya). Dari tugas sederhana inilah muncul kemampuan generasi, in-context learning, dan reasoning ketika skala membesar. Keduanya bukan pesaing — mereka dioptimalkan untuk tugas berbeda.

#Fine-Tune BERT untuk Klasifikasi Teks

Semua teori di atas kita rangkum dalam satu tugas nyata: klasifikasi sentimen dengan BERT. Hugging Face Trainer menghapus hampir semua boilerplate:

Persiapan data & model

from transformers import (
    AutoTokenizer, AutoModelForSequenceClassification,
    Trainer, TrainingArguments,
)
 
model_name = "distilbert-base-uncased"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name, num_labels=2)
 
def tokenize(batch):
    return tokenizer(batch["text"], truncation=True, padding=True)
 
dataset = dataset.map(tokenize, batched=True)

AutoModelForSequenceClassification mengganti head model menjadi classifier 2 kelas di atas encoding BERT — transfer learning persis seperti episode 8, hanya untuk bahasa.

Training dengan Trainer

training_args = TrainingArguments(
    output_dir="./sentiment",
    num_train_epochs=3,
    learning_rate=2e-5,
    per_device_train_batch_size=32,
    evaluation_strategy="epoch",
    logging_steps=100,
)
 
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_ds,
    eval_dataset=val_ds,
    tokenizer=tokenizer,
)
trainer.train()

Perhatikan learning_rate=2e-5: fine-tuning model bahasa memakai learning rate sangat kecil karena bobot sudah bagus — aplikasi praktis dari prinsip episode 8. Setelah training, trainer.evaluate() melaporkan akurasi di validation.

#Common Pitfalls

• Tokenizer tidak sinkron dengan model: selalu pakai tokenizer dari nama model yang sama — vocab yang beda membuat token tidak bermakna.
• Padding/truncation lupa: batch harus seragam panjangnya; padding=True, truncation=True wajib.
• Learning rate terlalu besar: fine-tuning LLM dengan lr 1e-3 merusak bobot pretrained. Gunakan 1e-5 sampai 3e-5.
• Menguji label imbalanced dengan accuracy: untuk sentimen yang seimbang fine, tapi untuk data dunia nyata periksa f1 per kelas.

#Penutup

Pada episode 15 ini, kalian telah masuk ke dunia NLP modern.

Inti yang harus dibawa pulang:

• Tokenization subword (BPE) menyeimbangkan vocab dan ekspresivitas.
• Embedding memetakan makna ke vektor; kedekatan vektor ≈ kemiripan makna.
• BERT (encoder) untuk pemahaman; LLaMA-class (decoder) untuk generasi.
• Fine-tuning model bahasa = transfer learning dengan learning rate kecil.
• Trainer dari Hugging Face merangkum seluruh training loop.

Di episode 16 selanjutnya kita akan memperbesar skala: fine-tuning LLM dengan PEFT & LoRA — LoRA/QLoRA, adapter, quantization, dan fine-tune model open-weight kecil seperti Llama/Qwen/Gemma. Sampai jumpa di episode 16!