Belajar MLOps - MLOps untuk Edge & IoT

#Pendahuluan

Setelah episode 24 merancang platform multi-cloud, sekarang kita ke arah yang berbeda — keluar dari datacenter sepenuhnya: edge computing. Model tidak lagi berjalan di server, melainkan di perangkat: robot, kamera pintar, sensor, hingga smartphone.

Mengapa edge penting? Karena ada workload yang secara fisik tidak bisa bergantung pada cloud — robot yang harus menghindari rintangan dalam milidetik tidak bisa menunggu round-trip ke datacenter. Dan di era IoT, jumlah perangkat jauh melebihi jumlah server yang bisa dikelola satu per satu. Episode ini membahas mengapa edge, bagaimana model di-compress untuk perangkat, dan — yang paling khas MLOps — bagaimana meng-update model di ribuan perangkat.

#Kenapa Edge

Tiga alasan utama:

• Latency — keputusan dalam milidetik tanpa network round-trip; robot, kendaraan, dan kontrol industri.
• Privasi & regulasi — data tidak perlu dikirim ke cloud; cocok untuk data medis, kamera, dan rahasia perusahaan (episode 19).
• Bandwidth & offline — perangkat di lokasi dengan koneksi buruk tetap harus berfungsi.

#Edge vs Cloud

Perhatikan: edge bukan pengganti cloud — keduanya bekerja sama. Training tetap di cloud (butuh GPU besar), hanya inference yang turun ke perangkat.

#Tantangan Edge

• Resource kecil — memory, storage, dan komputasi terbatas.
• Hardware beragam — setiap perangkat bisa berbeda chip dan driver.
• Update rumit — ribuan perangkat tersebar; deploy bukan kubectl apply (episode 17).
• Monitoring terbatas — tidak semua perangkat bisa streaming metrik penuh.

Semua tantangan ini dijawab oleh satu praktik kunci: model harus kecil dan update harus terkontrol.

#Quantization & Optimisasi untuk Edge

Model untuk perangkat melewati optimisasi agresif: quantization INT8 (episode 22), pruning, dan format runtime khusus. Dua format yang paling umum:

• TensorFlow Lite (TFLite) — untuk perangkat Android/embedded.
• ONNX Runtime — format portabel yang bisa jalan di banyak perangkat.

import tensorflow as tf
 
converter = tf.lite.TFLiteConverter.from_keras_model(model)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
tflite_model = converter.convert()

Aturan wajib untuk edge: uji di perangkat nyata, bukan di emulator. Model yang bekerja di laptop belum tentu bekerja di chip perangkat dengan memory 512MB.

#OTA Updates: Model Versioning di Perangkat

Update model di ribuan perangkat adalah operasi yang paling mudah berantakan — dan paling harus diotomatiskan. Pola dasarnya mirip canary (episode 10), tetapi di skala perangkat: staged rollout dengan verifikasi dan rollback.

Manifest yang dikirim ke perangkat:

device_model: churn-edge-v1
target_model:
  version: 2.4.0
  uri: s3://mlops-bucket/edge/churn-v2.tflite
  sha256: a1b2c3d4e5f6...
rollout:
  stage: canary
  percentage: 10
rollback_to: 2.3.1

Alur yang benar:

1. Model baru ditandatangani (episode 20) — perangkat memverifikasi signature sebelum install.
2. Canary — 10% perangkat (atau pilot group) menerima update dulu.
3. Pantau metrik dari kelompok canary; jika sehat, perluas.
4. Rollback — jika metrik buruk, perangkat kembali ke versi sebelumnya dari manifest.

#Fleet Management & Monitoring

Perangkat tidak bisa streaming log penuh seperti pod Kubernetes. Pola yang bekerja:

• Sinkronisasi periodik — perangkat melapor dalam jendela waktu tertentu (heartbeat).
• Sampling — hanya sebagian prediksi (atau prediksi dengan confidence rendah) yang dikirim ke cloud untuk analisis.
• Shadow device — representasi digital perangkat di cloud untuk tracking state dan update.
• Metrik agregat — drift dan akurasi diukur di cloud dari sample, bukan di tiap perangkat.

#Praktik: Pipeline Edge ML

Pipeline end-to-end yang menyatukan semuanya:

#Common Pitfalls

• Quantisasi tanpa uji di perangkat nyata — model bekerja di laptop, mati di perangkat.
• OTA tanpa rollback — satu update buruk merusak seluruh fleet.
• Monitoring mengirim semua data — bandwidth penuh; pakai sampling.
• Update tanpa verifikasi signature — perangkat bisa dipaksa menjalankan model jahat (episode 20).
• Menganggap edge = cloud yang lebih kecil — perangkat punya kendala hardware dan konektivitas yang sangat berbeda.

#Penutup

Pada episode 25 ini, kalian telah membawa model ke edge dan IoT.

Inti yang harus dibawa pulang:

• Edge dipilih karena latensi, privasi, dan bandwidth; training tetap di cloud.
• Optimisasi untuk perangkat: TFLite/ONNX Runtime + quantization — selalu uji di hardware nyata.
• OTA staged rollout dengan signature, canary, dan rollback adalah wajib.
• Monitoring fleet memakai heartbeat, sampling, dan shadow device.
• Pipeline edge: training → quantize → test → sign → OTA → monitor → rollback.

Di episode 26 selanjutnya kita akan zoom out melihat ekosistem & tren modern 2026 — full pipeline automation, AI-powered MLOps tools, dan arah industri yang sedang bergerak. Sampai jumpa di episode 26!