Belajar YOLO - Evaluasi Model (mAP, Confusion Matrix)

#Pendahuluan

Model fine-tune dari episode 10 sudah menghasilkan angka. Tapi angka saja tidak bercerita — evaluasi yang benar yang memberitahu apakah model layak deploy atau masih perlu dikerjakan.

Ini skill yang membedakan praktisi serius dari penggemar: pemula berhenti di "mAP 0.85, lumayan!", sementara engineer bertanya — mAP di IoU berapa? Kelas mana yang lemah? Model salahnya ke arah mana? Apakah val set-nya benar-benar mewakili produksi? Episode ini melatih pertanyaan-pertanyaan itu dengan alat resmi Ultralytics.

#Mode val: Evaluasi Terstandar

Ultralytics menyediakan evaluasi satu perintah:

CLIevaluate.py

yolo val model=runs/detect/train/weights/best.pt data=proyek-helm/data.yaml

from ultralytics import YOLO
 
metrics = YOLO("runs/detect/train/weights/best.pt").val(
    data="proyek-helm/data.yaml",
    split="val", # bisa juga "test" jika disediakan di data.yaml
)
 
print("mAP50    :", round(metrics.box.map50, 4))
print("mAP50-95 :", round(metrics.box.map, 4))
print("precision:", round(metrics.box.mp, 4))
print("recall   :", round(metrics.box.mr, 4))
print("per kelas:", metrics.box.maps) # mAP50-95 tiap kelas

Hasil lengkap (tabel per kelas + artefak grafik) tersimpan di runs/detect/val/. Penting: evaluasi harus pada split val yang tidak pernah disentuh training — kalau bocor, semua angka jadi bohong.

#Bedah Metrik Utama

#mAP50 vs mAP50-95

Keduanya bukan metrik yang sama — dan selisihnya adalah informasi:

Model dengan mAP50 = 0.90 tapi mAP50-95 = 0.45 punya deteksi yang kena tapi longgar — box konsisten lebih besar/kecil dari objek. Untuk use case hitung kendaraan itu mungkin cukup; untuk robot gripper atau pengukuran dimensi, fatal. Gunakan mAP50-95 sebagai KPI utama, mAP50 sebagai sanity check.

#Precision & Recall Per Kelas

Angka agregat menyembunyikan drama per kelas. Tabel output val seperti ini:

Class      Images  Instances   Box(P      R     mAP50  mAP50-95)
all            40        120    0.883   0.758    0.841      0.612
person         40         60    0.921   0.900    0.933      0.701
helm           40         35    0.944   0.743    0.862      0.654
no-helm        40         25    0.785   0.630    0.728      0.481

Cara membacanya:

• Recall rendah (helm 0.74): model melewatkan ~26% helm. Kemungkinan: contoh helm kecil/tertutup kurang, atau confidence threshold terlalu tinggi.
• Precision rendah (no-helm 0.79): banyak false positive — kepala tanpa helm sering tertukar dengan... rambut? bayangan? Ini butuh investigasi visual.
• Kelas dengan instances sedikit hampir selalu paling lemah — solusinya data, bukan hyperparameter.

#Confusion Matrix: Ke Mana Kesalahan Mengalir

File confusion_matrix.png otomatis tersimpan tiap run. Matriks ini menjawab pertanyaan yang tidak bisa dijawab angka agregat: kesalahan spesifiknya apa?

Contoh pola klasik dataset helm:

                 Prediksi →
               helm  no-helm  background
Aktor ↓ helm    26       2        7
      no-helm    4      16        5

Tiga diagnosis berbeda dari satu matriks:

1. Baris background gemuk → banyak false positive: model "melihat" objek di tempat kosong. Solusi: tambah background images (txt kosong), naikkan conf threshold.
2. Sel diagonal helm↔no-helm saling tukar → dua kelas terlalu mirip secara visual; perbaiki konsistensi annotation atau tambah contoh pembeda.
3. Kolom background gemuk di baris kelas → missed detection: objek ada tapi tak terdeteksi — biasanya ukuran kecil, blur, atau pencahayaan ekstrem.

#PR Curve & F1 Curve

Dua grafik lain yang otomatis tersimpan:

• PR curve (precision vs recall per kelas): kurva yang "kotak" mendekati pojok kanan atas = model bagus. Kurva yang runtuh cepat = kelas problematis. Luas di bawah kurva inilah AP.
• F1 curve: titik optimal trade-off P/R. Grafiknya menunjukkan nilai conf yang memaksimalkan F1 — pakai angka itu sebagai titik awal threshold produksi kalian, bukan asumsi.

#Analisis Kualitatif: Lihat Kegagalannya Langsung

Metrik bilang berapa, mata kalian bilang kenapa. Ambil sampel gambar val, jalankan prediksi, dan periksa visual:

from ultralytics import YOLO
 
model = YOLO("runs/detect/train/weights/best.pt")
model.predict(source="proyek-helm/images/val/", conf=0.25,
              save=True, name="inspeksi")
# buka runs/detect/inspeksi/ — bandingkan prediksi vs label sebenarnya

Yang dicari saat inspeksi manual: box yang konsisten bergeser (annotation bias?), objek tertentu yang selalu gagal (variasi belum terwakili?), deteksi ganda pada objek sama (threshold/NMS issue).

#Red Flags Dataset Saat Evaluasi

• mAP val jauh lebih tinggi dari performa nyata di lapangan → distribusi val ≠ produksi (pencahayaan/kamera/sudut berbeda). Solusi: bangun ulang split dari data lapangan.
• Semua metrik sempurna (>0.98) sejak epoch awal → curigai leakage antara train dan val.
• Satu kelas 0.9, kelas lain 0.3 → imbalance; lakukan oversampling kelas lemah atau kumpulkan data tambahan.

#Penutup

Rangkuman episode ini:

• yolo val / .val() adalah evaluasi standar — selalu pada split val yang bersih.
• mAP50-95 adalah KPI utama; selisih besar dengan mAP50 menandakan box kurang presisi.
• Baca tabel per kelas: recall rendah = objek terlewat, precision rendah = false positive.
• Confusion matrix mengarahkan diagnosis: tukar kelas, false positive background, atau missed detection.
• Threshold produksi ideal diambil dari F1 curve, dievaluasi ulang pada conf yang sama.
• Metrik bilang berapa; inspeksi visual menjawab kenapa.

Di episode 12 kita masuk senjata rahasia dataset kecil: data augmentation — bagaimana mosaic, mixup, HSV, dan flip bekerja di balik layar Ultralytics, kapan justru harus dikurangi, dan eksperimen nyata mengukur dampak augmentasi ke mAP. Sampai jumpa!