Belajar Hardware Engineer - Edge AI Hardware

#Pendahuluan

Setelah di episode 20 produk kalian patuh regulasi, pada episode ini kita menapak di tren paling dominan tahun 2026: edge AI hardware. Perangkat kecil kini bukan hanya "pintar karena terhubung" — mereka menalar sendiri di tempat: kamera yang mengenali wajah tanpa cloud, sensor yang mendeteksi anomali di pabrik, mic yang membedakan suara di rumah.

Mengapa edge AI penting bagi hardware engineer? Karena era ini menggeser pekerjaan dari "merakit MCU + sensor" menjadi "merancang sistem yang menjalankan model AI dengan daya dan biaya terbatas". Memahami blok hardware AI adalah pembeda besar di pasar kerja — dan fondasi yang akan terus relevan.

#Apa Itu Edge Inference

Inference adalah menjalankan model AI yang sudah dilatih untuk membuat prediksi. Edge inference berarti melakukannya di perangkat, bukan di cloud. Perbandingannya:

Aspek	Cloud Inference	Edge Inference
Latensi	100ms-1s (jaringan)	1-50ms (lokal)
Privasi	Data dikirim keluar	Data tinggal di perangkat
Konektivitas	Wajib online	Bisa offline
Biaya operasional	Pay-per-call	Sekali di awal
Daya	Tidak dibatasi	Sangat dibatasi

Kapan edge layak? Saat latensi kritis (kendaraan, industrial safety), privasi penting (kamera rumah), atau koneksi tidak bisa diandalkan. Kapan cloud tetap menang? Saat model sangat besar, update cepat, atau komputasi sangat berat.

#Hardware yang Menjalankan AI di Edge

Ada empat pilihan kelas hardware, masing-masing dengan trade-off:

Kelas	Contoh	TOPS/Perf	Daya	Biaya	Kapan Memilih
MCU + NPU kecil	ESP32-S3, RP2040	kecil	mW	$	Model sangat kecil (keyword, sensor)
MCU AI	Renesas RA, STM32N6	kecil-sedang	mW	$	Keyword spotting, tiny CNN
MPU + NPU	Rockchip RK3588, i.MX 8M Plus	sedang	W	$$	Kamera, multiple model
Dedicated accelerator	Coral TPU, Hailo, Kendryte	tinggi	1-10W	$$$	Computer vision berat

Perbedaan penting: CPU (menjalankan logika) vs GPU/NPU (menjalankan matriks). Model AI pada dasarnya adalah operasi matriks raksasa — NPU mengoptimalkan hardware untuk operasi ini, memproses ribuan operasi paralel, jauh lebih efisien daripada CPU.

perbandingan_unit.txt

"CPU  : 10-50 GFLOPS    (~10-100 GOPS efektif untuk AI)
GPU  : ribuan GFLOPS   (boros daya untuk edge)
NPU  : 0.1-100+ TOPS   (dioptimalkan untuk operasi AI)
 
Unit penting: TOPS = triliunan operasi per detik.
Model kecil (keyword): puluhan GOPS sudah cukup.
Vision model (YOLO): butuh TOPS.

#Memory Bandwidth: Botol Nyata

Hanya melihat TOPS (kecepatan NPU) adalah kesalahan pemula. Operasi matriks butuh data terus-menerus — jika memori tidak mampu mensuplai data secepat NPU memproses, NPU "menunggu lapar". Memory bandwidth sering menjadi bottleneck sebenarnya.

cek_bottleneck.txt

"NPU: 2 TOPS (2 triliun operasi/detik)
Model: 1 juta parameter
Per operasi butuh ~2 byte data (bobot + aktivasi)
Bandwidth dibutuhkan: 2 TOPS x 2 byte = 4 GB/s
 
Jika MCU hanya punya SRAM internal dengan bandwidth ~500 MB/s,
data tidak bisa disuplai cukup cepat -> NPU idle, performa anjlok.
 
Solusi: PSRAM/DRAM eksternal, atau pilih NPU dengan memori efisien.

Pelajaran desain: cek bandwidth sebelum memilih chip, bukan hanya TOPS. Vendor menyediakan contoh performa model nyata (mis. "YOLOv8n: 30 FPS") — gunakan itu sebagai patokan, bukan angka TOPS mentah.

#Merancang Edge AI System

#Alur Desain Edge AI

100%

Perhatikan bahwa sensor dan preprocessing adalah bagian yang sering diremehkan: kualitas data input menentukan kualitas hasil AI. Kamera murah dengan lensa buram akan merusak akurasi model sebaik apa pun.

#Praktik Desain: Sensor + Inference Board

Pertimbangan desain untuk board edge AI sederhana:

edge_ai_design_note.txt

"- Sensor: camera module (OV2640/OV5640) via DVP atau MIPI-CSI
- Preprocessing di MCU/ISP: format, crop, normalisasi
- Inference: NPU dengan jumlah TOPS sesuai model & FPS target
- Memory: pastikan bandwidth cukup (lihat cek bottleneck)
- Power: 3.3V/5V, budget dihitung di episode 23
- Interface: output hasil via UART/GPIO/wireless (episode 12)
- Thermal: NPU penuh = panas (episode 13)

Tip

Untuk proyek pertama edge AI, mulai dari module development board yang sudah terintegrasi sensor + NPU (misal board dengan chip vendor AI). Buktikan model berjalan dan FPS-nya sesuai target, baru desain board kustom. Mengulang desain board karena model tidak cukup cepat adalah biaya yang bisa dihindari.

#Trade-off dan Kesalahan Umum

#Trade-off Utama

Model lebih kecil vs akurasi — kuantisasi (FP32 → INT8) memangkas memori/bandwidth 4x dengan penurunan akurasi kecil. INT8 adalah standar praktis edge AI.
Performa vs daya — NPU besar memberi FPS tinggi tapi memakan baterai (episode 23). Pilih sesuai kebutuhan, bukan maksimal.
Edge vs cloud — jangan paksa semua AI ke edge; desain hybrid: inferensi sederhana di edge, yang kompleks di cloud.

#Kesalahan Umum

Memilih chip hanya dari TOPS — abaikan bandwidth, daya, dan toolchain.
Toolchain tidak diperiksa — model TIDAK berjalan di sembarang NPU. Cek dukungan framework (TFLite, ONNX) dan format model yang didukung vendor.
Sensor diabaikan — data input buruk = output AI buruk, seberapa pun kuat NPU-nya.
Mengukur performa hanya di datasheet — FPS nyata tergantung model, memori, dan termal. Ukur di board nyata.
Lupa thermal — NPU inference berkelanjutan menghasilkan panas yang harus dihitung di desain.

Warning

"NPU mendukung" tidak berarti "model kalian berjalan". Dukungan toolchain — format model, quantisasi, operator yang didukung — sering menjadi pembeda antara "bisa dibeli" dan "bisa dipakai". Selalu prototipe dengan board vendor dan jalankan model KALIAN sebelum berkomitmen ke desain kustom.

#Penutup

Pada episode 21 ini, kalian telah memahami lanskap edge AI hardware: apa itu inference di tepi, kelas-kelas chip, dan trade-off yang menentukan keputusan desain.

Inti yang harus dibawa pulang:

Edge inference memberi latensi rendah, privasi, dan kemampuan offline — dengan batas daya yang ketat.
Empat kelas chip: MCU+NPU kecil, MCU AI, MPU+NPU, dedicated accelerator.
Memory bandwidth sering menjadi bottleneck — cek, bukan hanya TOPS.
Kualitas sensor dan preprocessing menentukan hasil AI — jangan diremehkan.
Toolchain dan prototipe nyata lebih menentukan daripada angka datasheet.

Di episode 22 selanjutnya kita membahas cara lain menaruh "kecerdasan" di hardware: FPGA & custom logic — mendesain logika kustom dengan HDL yang bisa diubah-ubah. Sampai jumpa di episode 22!