Belajar MLOps - Arsitektur & Siklus Hidup ML

#Pendahuluan

Setelah di episode 1 kita memahami posisi dan permintaan pasar MLOps Engineer, pada episode ini kita membangun kerangka berpikir sebelum menyentuh tools: bagaimana sebenarnya model ML hidup di organisasi, dari lahir sampai mati.

Mengapa arsitektur penting dipahami pertama? Karena setiap tool yang akan kita pelajari — MLflow, DVC, Airflow, Kubernetes — menempati slot tertentu dalam siklus hidup ini. Kalian tidak akan bingung "kok perlu banyak tools?" jika kalian paham peta besarnya. Episode ini juga memperkenalkan istilah MLOps level 0/1/2 yang akan dirujuk ulang di episode 26.

#Siklus Hidup Machine Learning

Model ML bukanlah artefak sekali jadi. Ia hidup dalam loop berkelanjutan:

100%

Tahap-tahapnya:

1. Data — pengumpulan, validasi, versioning, dan feature engineering.
2. Training — melatih model, melacak eksperimen, memilih hyperparameter.
3. Evaluation — menguji model di data yang belum terlihat; menentukan layak atau tidak.
4. Deployment — mendeploy model sebagai API, batch, atau edge.
5. Monitoring — memantau kesehatan model, latensi, dan drift.
6. Retraining — memperbarui model dengan data baru, kembali ke tahap training.

Perhatikan: retraining bukan akhir, ia mengembalikan alur ke training. Inilah yang membedakan ML dari software biasa — model "kadaluarsa" seiring data dunia berubah, dan harus diperbarui terus-menerus. Seluruh series ini pada dasarnya mengotomasi loop di atas.

#MLOps Level 0: Manual

Kebanyakan organisasi memulai dari level 0: semua tahap dikerjakan manual oleh data scientist.

• Training dilakukan per-eksperimen tanpa tracking konsisten.
• Model dideploy dengan pickle atau joblib, dikirim via email atau folder bersama.
• Tidak ada monitoring — model dibiarkan berjalan sampai ada keluhan.
• Setiap anggota tim punya environment berbeda → hasil sulit direproduksi.

Level 0 bisa berfungsi untuk prototipe, tetapi runtuh saat scale: satu model, satu data scientist, satu deployment manual masih mungkin; sepuluh model dengan banyak orang — tidak.

#MLOps Level 1: CI/CD untuk Training

Level 1 menambahkan automasi pipeline dan dasar CI/CD:

• Data & kode di-version; training bisa direproduksi kapan saja.
• Eksperimen dilacak dengan MLflow/W&B.
• Training & deployment diotomasi; model diservis via API.
• Testing: unit test data & model mulai diperkenalkan.
• Monitoring dasar: metrik dan log sederhana.

Kunci level 1 adalah reproducibility: siapa pun bisa menjalankan ulang training dan mendapat hasil yang sama. Ini memecahkan masalah "tadi di laptop saya jalan" yang paling menyakitkan di dunia ML.

#MLOps Level 2: Full Automation

Level 2 adalah kondisi yang diincar industri 2026 — zero-touch pipelines:

• Training otomatis terpicu oleh data baru (event-driven) atau jadwal.
• Model otomatis dievaluasi; jika lolos gate kualitas, langsung dipromosikan.
• Deployment otomatis dengan strategi canary/blue-green.
• Monitoring drift terintegrasi; retraining otomatis tanpa intervensi manusia.
• Security & governance menyatu dalam pipeline (signing, SBOM, audit).

Episode 13 akan membedah level 2 ini secara khusus — termasuk risikonya, karena automasi penuh tanpa kontrol yang baik bisa menghasilkan "model yang rusak meledak sendiri".

#MLOps vs DevOps: Tiga Perbedaan Mendasar

Banyak yang mengira MLOps = DevOps + ML. Benar, tapi tidak cukup. Ada tiga perbedaan yang mengubah cara kita bekerja:

#1. Artefak: Kode vs Model

DevOps meng-version kode yang deterministik. MLOps meng-version model — artefak yang dihasilkan data + kode + hyperparameter. Dua training dengan kode sama bisa menghasilkan model berbeda jika data atau environment bergeser. Karena itu kita butuh model registry (episode 11), bukan hanya git.

#2. Dependency: Data Mengubah Segalanya

Di DevOps, behavior aplikasi ditentukan kode. Di ML, behavior model ditentukan data, dan data berubah setiap waktu. Model yang akurat bulan lalu bisa usang bulan ini tanpa ada yang menyentuh kode — inilah alasan drift detection dan retraining menjadi bagian wajib (episode 12-13).

#3. Monitoring: Error bukan Satu-satunya Alarm

Aplikasi normal gagal dengan cara yang terlihat: crash, error rate naik, 5xx. Model bisa gagal secara diam-diam: akurasi menurun, prediksi bias, drift konsep — tanpa ada error yang tercatat. Monitoring ML butuh metrik kualitas model dan data, bukan hanya metrik infrastruktur.

#Peta Series terhadap Siklus Hidup

Agar kalian tahu sedang berada di mana:

• Episode 3-4: fondasi Python & reproducibility (tahap Data & Training).
• Episode 5-6: experiment tracking & data versioning (Training).
• Episode 7-8: training pipelines & CI/CD (Training → Evaluation).
• Episode 9-11: serving, deployment patterns, registry (Deployment).
• Episode 12-13: monitoring, drift, retraining (Monitoring → Retraining).
• Episode 14+: feature store, governance, platform, security, cost, edge.

#Penutup

Pada episode 2 ini, kalian telah membangun kerangka arsitektur MLOps.

Inti yang harus dibawa pulang:

• ML hidup dalam loop: data → training → evaluation → deployment → monitoring → retraining.
• Maturity berjenjang: level 0 manual, level 1 CI/CD, level 2 full automation.
• MLOps ≠ DevOps + ML: artefaknya model, dependency-nya data, dan kegagalannya sering diam-diam.
• Setiap tool di series ini menempati slot spesifik dalam siklus hidup.

Di episode 3 selanjutnya kita masuk ke praktik pertama: Python production & packaging — struktur project ML yang rapi, type hints, testing dengan pytest, dan packaging memakai pyproject.toml supaya kalian berhenti hidup dari Jupyter saja. Sampai jumpa di episode 3!