Belajar AI - Multimodal AI

#Pendahuluan

Setelah 19 episode membangun pemahaman end-to-end tentang AI — dari data sampai biaya — episode ini membuka modalitas berikutnya: multimodal. Hingga 2023, AI teks dan AI gambar adalah dunia terpisah. Di 2026, model utama (GPT, Claude, Gemini) memproses teks, gambar, audio, dan video sekaligus dalam satu arsitektur — dan itu mengubah apa yang bisa dibangun.

Mengapa episode ini penting? Karena sebagian besar data nyata tidak pernah teks saja: laporan berisi gambar dan tabel, support ticket berisi screenshot, rapat berisi audio. Multimodal AI memungkinkan aplikasi yang sebelumnya mustahil — bertanya tentang isi gambar, meringkas pertemuan dari rekaman, menganalisis video. Ini salah satu keterampilan paling bernilai di 2026.

#Apa Itu Multimodal AI

Multimodal model menerima lebih dari satu jenis input dan memprosesnya dalam satu jaringan. Ia bisa menerima pertanyaan teks tentang gambar, atau membuat caption dari video, atau menjawab dari audio — karena semua modalitas diubah menjadi representasi bersama.

Konsep kuncinya adalah modalitas alignment: teks "anjing" dan gambar seekor anjing diubah ke ruang vektor yang sama, sehingga model bisa memahami hubungan di antara keduanya — seperti embeddings pada episode 6, tetapi lintas jenis data.

Dua arsitektur dominan:

• Fusion early (native multimodal): semua modalitas masuk sebagai token sejak awal (keluarga Gemini, GPT-4o). Satu model memahami semuanya.
• Fusion late (adapter): teks LLM ditambah adapter per modalitas (vision encoder, audio encoder). Fleksibel, bisa di-upgrade per modalitas.

#Use Case Multimodal di Dunia Nyata

#Vision QA (Visual Question Answering)

Bertanya tentang isi gambar — fondasi aplikasi dukungan (screenshot error, foto produk):

from openai import OpenAI
 
client = OpenAI()
 
response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[{
        "role": "user",
        "content": [
            {"type": "text", "text": "Apa error pada screenshot ini? Beri solusinya."},
            {"type": "image_url", "image_url": {"url": "https://.../screenshot.png"}},
        ],
    }],
)
print(response.choices[0].message.content)

#Speech: Transkripsi dan Pemahaman

Speech-to-text (Whisper dan sejenisnya) mengubah audio menjadi teks, lalu diproses LLM — pipeline yang dipakai untuk ringkasan rapat, transkripsi customer call, dan captioning:

import whisper
 
model = whisper.load_model("base")
result = model.transcribe("rapat-q3.wav")
print(result["text"][:200])

#Dokumen Berantakan

Modalitas terbesar di industri: dokumen campuran — PDF berisi tabel, diagram, dan foto. Vision model mengubah dokumen apa pun menjadi konten yang bisa di-query — fondasi RAG dokumen non-teks yang akan kita bangun di bagian praktik.

#Praktik: RAG Multimodal

RAG klasik (episode 13) hanya menangani teks. RAG multimodal memperluasnya ke gambar dan audio. Dua pola:

#Pola 1: Transkripsi → Teks (Audio/Dokumen)

Ubah modalitas menjadi teks dulu, lalu alur RAG teks biasa:

1. Audio → transkripsi (Whisper).
2. Gambar/PDF → deskripsi atau OCR (vision model).
3. Hasil teks di-chunk, di-embed, di-index seperti biasa.

Sederhana, memakai stack yang sudah kalian kuasai, dan cukup untuk sebagian besar kasus.

#Pola 2: Retrieval Multi-Modal (Gambar)

Untuk kasus di mana gambar itu sendiri harus dicari (katalog produk, dataset forensik), simpan embedding gambar di vector DB dan cari dengan embedding gambar atau teks:

from sentence_transformers import SentenceTransformer, util
 
model = SentenceTransformer("clip-ViT-B-32")  # model vision-language
 
# Index: embedding semua katalog
image_embs = model.encode([load_image(f) for f in image_paths])
 
# Query: cari dengan teks atau gambar
query_vec = model.encode(["sepatu lari warna merah"])
hits = util.semantic_search(query_vec, image_embs, top_k=3)

Model CLIP-style (contrastive language-image pretraining) menghasilkan embedding yang bisa dibandingkan lintas teks-gambar — satu ruang vektor untuk kedua modalitas. Ini juga pola yang dipakai pencarian produk e-commerce.

#Pipeline Image/Audio Understanding

Pipeline lengkap untuk "menjawab dari banyak jenis input":

Pola ini memecah masalah multimodal menjadi langkah-langkah yang bisa dievaluasi satu per satu — jauh lebih mudah di-debug daripada memaksa satu model menangani semuanya.

#Evaluasi Multimodal

Jangan lupa pelajaran episode 8: evaluasi tetap wajib. Untuk multimodal, tambahkan dimensi:

• Grounding visual: apakah model benar-benar melihat objek yang diklaimnya?
• Consistency lintas modalitas: jawaban dari gambar dan dari teks deskripsinya harus konsisten.
• Ketahanan terhadap pertanyaan menyesatkan: model bisa terpengaruh sugesti (misal "ada berapa anjing?" padahal tidak ada).

Uji dengan kasus yang menantang persepsi, bukan hanya kasus yang mudah.

#Common Pitfalls

• Memakai model multimodal untuk tugas yang cukup modalitas tunggal: lebih mahal dan tidak lebih baik.
• Tanpa eval grounding visual: model bisa "berhalusinasi" soal isi gambar dengan percaya diri.
• Mengabaikan biaya token gambar: gambar dihitung ribuan token — murah untuk sedikit, mahal untuk volume besar.
• Mengharapkan satu model menangani semua modalitas dengan sempurna: pipeline bertahap sering lebih andal.

#Penutup

Inti yang harus dibawa pulang:

• Multimodal model memproses teks, gambar, audio, dan video dalam satu ruang representasi (early fusion vs adapter).
• Use case utama: vision QA, speech-to-text + LLM, dan dokumen campuran.
• RAG multimodal: transkripsi/deskripsi dulu → RAG teks (sederhana); atau embedding multi-modal CLIP-style (canggih).
• Evaluasi wajib: grounding visual dan konsistensi lintas modalitas; perhatikan biaya token gambar.

Di episode 21 selanjutnya kita masuk ke batas paling depan 2026: Reasoning & Agentic AI — chain-of-thought, inference-time compute ala o-series dan R1, tool-based reasoning, workflow automation, agent otonom, dan cara mengevaluasi reliabilitas agent. Sampai jumpa di episode 21!