Belajar Machine Learning - Ekosistem & Tren Modern 2026

#Pendahuluan

Kita telah menempuh 22 episode — dari matematika dasar hingga scaling dan AutoML. Episode ini berhenti sejenak untuk melihat peta: apa saja yang ada di ekosistem ML 2026, dan bagaimana semuanya tersambung? Khususnya, bagaimana ML klasik yang kita pelajari sepanjang series ini bukan usang melainkan justru berpadu dengan tren terbesar saat ini: LLM dan RAG.

Mengapa penting memetakan ekosistem? Karena teknologi berkembang cepat, dan kalian perlu tahu posisi setiap alat: mana yang jadi workhorse harian, mana yang naik daun, dan mana yang perlu diintegrasikan. Tanpa peta ini, kalian bisa membangun solusi dengan alat yang salah.

#Peta Ekosistem ML 2026

Dua jalur utama:

1. Tabular (data terstruktur) — masih dikuasai gradient boosting dan scikit-learn.
2. Unstructured (teks, gambar) — dikuasai deep learning (PyTorch) dan LLM.

Di 2026, batas keduanya mulai melebur: aplikasi nyata memakai keduanya sekaligus — yang kita sebut hybrid pipeline.

#Workhorse Harian: Stack yang Stabil

#scikit-learn 1.8.x

scikit-learn 1.8.x (rilis stabil 2026) tetap tulang punggung tabular: pipeline, preprocessing, evaluasi, dan model klasik yang matang. Yang perlu kalian perhatikan di versi baru: ColumnTransformer yang lebih fleksibel, peningkatan performa pada HistGradientBoosting, dan dukungan set_output(transform="pandas") untuk menjaga nama kolom.

from sklearn.compose import ColumnTransformer
from sklearn.ensemble import HistGradientBoostingClassifier
from sklearn.pipeline import Pipeline
 
pipeline = Pipeline([
    ("prep", ColumnTransformer([...])),
    ("model", HistGradientBoostingClassifier(max_iter=200)),
])

#PyTorch 2.11

Untuk deep learning, PyTorch 2.11 adalah standar — dengan torch.compile yang membuat training jauh lebih cepat tanpa mengubah kode:

import torch
import torch.nn as nn
 
model = nn.Sequential(
    nn.Linear(64, 128), nn.ReLU(),
    nn.Linear(128, 2),
)
model = torch.compile(model)  # akselerasi otomatis

PyTorch adalah pilihan utama penelitian dan produksi — dan menjadi jembatan ke series learn-deep-learning dan learn-artificial-intelligence.

#Polars dan Keluarga GBM

Polars (episode 22) makin menjadi default manipulasi data di 2026, sementara XGBoost/LightGBM/CatBoost tetap mendominasi benchmark tabular — seperti yang kita dalami di episode 19. Stack tabular yang stabil: Polars untuk data, LightGBM/XGBoost untuk model, SHAP untuk interpretasi, MLflow untuk tracking.

#Integrasi dengan LLM dan RAG

Tren paling berpengaruh 2026: LLM (Large Language Models) dan RAG (Retrieval-Augmented Generation). Untuk series ML klasik, yang perlu dipahami adalah bagian embedding — karena inilah jembatan antara dunia tabular dan dunia teks.

Embedding mengubah teks menjadi vektor numerik (mirip konsep word2vec di episode 13, tapi jauh lebih kuat):

from sentence_transformers import SentenceTransformer
 
model = SentenceTransformer("all-MiniLM-L6-v2")
 
teks = [
    "Saya ingin komplain produk rusak",
    "Status pesanan saya apa?",
]
vektor = model.encode(teks)
print(vektor.shape)  # (2, 384) — tiap teks jadi vektor 384 dimensi

Setelah teks menjadi vektor, dunia yang kalian kuasai di series ini terbuka: clustering dokumen (episode 8), similarity search, dan fitur untuk model tabular.

#Hybrid Pipeline: ML Klasik + LLM

Ini inti episode: aplikasi end-to-end yang menggabungkan keduanya. Contoh nyata — sistem klasifikasi tiket customer support:

Satu tiket menghasilkan dua hal: prediksi klasik (prioritas, departemen routing) dari fitur tabular + embedding, dan draft jawaban dari RAG yang mencari dokumen mirip di knowledge base.

import pandas as pd
import lightgbm as lgb
from sentence_transformers import SentenceTransformer
 
embedder = SentenceTransformer("all-MiniLM-L6-v2")
 
def hybrid_features(df):
    embeddings = embedder.encode(df["isi_tiket"].tolist())
    emb_cols = pd.DataFrame(
        embeddings, index=df.index, prefix="emb_"
    )
    return pd.concat([df[["kategori", "sla_hari", "urgency"]], emb_cols], axis=1)
 
X_hybrid = hybrid_features(train)
model = lgb.LGBMClassifier(n_estimators=300, random_state=42)
model.fit(X_hybrid, y_prioritas)

Embedding sebagai fitur tabular sering menaikkan akurasi klasifikasi teks+meta secara signifikan — ML klasik "menyumbang" struktur, embedding "menyumbang" makna.

#Alur End-to-End 2026 yang Realistis

Menyatukan semuanya yang sudah kalian pelajari:

import mlflow
import lightgbm as lgb
 
with mlflow.start_run():
    # 1. Data: Polars cepat + lazy
    # 2. Feature: tabular + embeddings (hybrid)
    # 3. Model: LightGBM / XGBoost
    model = lgb.LGBMClassifier(...)
 
    # 4. Evaluasi: CV + metrik tepat
    # 5. Tracking: log params, metrics, artifact (MLflow)
    # 6. Interpretasi: SHAP untuk stakeholder
    # 7. Deploy: FastAPI + Docker (episode 18)
    # 8. Monitoring: drift + retraining policy (episode 17)

Perhatikan bahwa alur ini adalah rekapitulasi seluruh series: pipeline (ep 2), preprocessing (ep 4), model (ep 5-8), feature engineering (ep 9), tuning & evaluasi (ep 10), tracking (ep 11), interpretasi (ep 20), MLOps (ep 17), dan deployment (ep 18).

#Common Pitfalls

• Menganggap ML klasik usang karena ada LLM — untuk tabular, GBM masih juara.
• Melempar semua teks ke LLM tanpa struktur — embedding + ML klasik lebih murah dan cepat untuk banyak tugas.
• Tanpa tracking di proyek hybrid — kombinasi fitur dan versi embedding mudah kacau.
• Mengabaikan biaya inference LLM — gunakan model kecil/klasik untuk jalur ber-volume tinggi.

#Penutup

Pada episode 23 ini, kalian telah memetakan ekosistem ML 2026.

Inti yang harus dibawa pulang:

• Stack tabular stabil: Polars + scikit-learn 1.8.x + GBM + SHAP + MLflow.
• PyTorch 2.11 untuk deep learning dan unstructured data.
• Embeddings menjembatani teks dan tabular — bahan hybrid pipeline.
• Hybrid pipeline menggabungkan ML klasik (prediksi terstruktur) dan LLM/RAG (pemahaman teks).
• Alur end-to-end yang profesional adalah rekapitulasi seluruh series ini.

Di episode 24, episode terakhir, kita akan membahas roadmap, karir & refleksi akhir — pilihan jalur karir (Data Scientist, ML Engineer, Applied Scientist, MLOps), rekap dan checklist produksi dari episode 0 sampai 23, serta sumber belajar resmi untuk melangkah lebih jauh. Sampai jumpa di episode 24!