Belajar Cloud Native & CNCF - AI & Machine Learning di Ekosistem CNCF

#Pendahuluan

Di episode 10 kita melihat satu angka yang mengubah cara pandang industri: 66% organisasi yang menghosting model generative AI memakai Kubernetes untuk inference. Angka itu membuat banyak orang menyebut Kubernetes sebagai "de facto OS untuk AI" — platform tempat kecerdasan buatan dijalankan secara produksi.

Pertemuan AI dan cloud native bukan kebetulan. Kedua dunia ini punya masalah yang saling melengkapi: AI butuh infrastruktur yang bisa mengatur sumber daya komputasi mahal seperti GPU secara efisien, dan cloud native punya Kubernetes yang justru hebat dalam hal itu.

Di akhir episode ini kalian akan memahami peran Kubernetes dalam dunia AI, mengenal mekanisme seperti DRA dan KEDA, serta melihat bagaimana CNCF menanggapi era AI melalui TAG AI dan proyek-proyek barunya.

#Kubernetes sebagai Platform AI

#Mengapa AI Membutuhkan Kubernetes

Model AI modern — terutama generative AI — sangat bergantung pada GPU yang mahal dan langka. GPU tidak bisa dibiarkan menganggur; setiap menit idle berarti uang yang terbuang. Kubernetes menawarkan apa yang dunia AI butuhkan: penjadwalan sumber daya yang efisien dan otomatis.

Dengan Kubernetes, workload AI bisa dijadwalkan ke node yang punya GPU, diskalakan sesuai permintaan, dan dipulihkan otomatis saat gagal. Semua hal yang selama ini membuat operasional AI rumit justru adalah kekuatan Kubernetes.

#Inference GPU di Kubernetes

Inference — menjalankan model untuk menghasilkan jawaban — adalah beban kerja AI yang paling umum di Kubernetes. Karena permintaan inference datang dari pengguna nyata, ia butuh scaling yang cepat dan ketersediaan yang tinggi, persis seperti layanan web biasa.

Perbedaan utamanya adalah kebutuhan GPU. Untuk mengelola GPU secara efisien, Kubernetes membutuhkan mekanisme khusus — dan di sinilah DRA masuk.

#DRA dan Penjadwalan GPU

#Dynamic Resource Allocation

DRA atau Dynamic Resource Allocation adalah mekanisme di Kubernetes yang memungkinkan sumber daya khusus seperti GPU dialokasikan secara dinamis sesuai kebutuhan workload. Sebelum DRA, alokasi GPU cenderung kaku dan kurang fleksibel.

Dengan DRA, sebuah Pod bisa meminta GPU dengan cara yang lebih eksplisit dan terkelola. Ini adalah fondasi penting untuk membuat Kubernetes benar-benar nyaman dipakai sebagai platform AI berskala besar.

#Melihat Kapasitas GPU di Cluster

Untuk melihat bagaimana GPU terlihat dari sisi Kubernetes, kalian bisa memeriksa kapasitas node dengan perintah berikut — ilustrasi nyata dari konsep yang baru saja kita bahas:

kubectl get nodes -o custom-columns=NAME:.metadata.name,GPU:.status.allocatable.nvidia.com/gpu
kubectl describe node | grep -i "nvidia.com/gpu"

Perintah kubectl get nodes di atas menampilkan kolom GPU pada tiap node, sementara kubectl describe node memperlihatkan detail alokasinya. Di cluster dengan GPU, kolom ini akan berisi angka; di cluster biasa, kolom ini kosong.

#KEDA dan Autoscaling untuk AI

#Autoscaling Berbasis Event

Beban kerja AI tidak selalu konstan — bisa tiba-tiba melonjak ketika banyak pengguna mengirim permintaan sekaligus. Untuk menangani ini, KEDA — proyek graduated yang kita kenal di episode 5 — menyediakan autoscaling berbasis event, termasuk untuk metrik terkait GPU.

KEDA memantau metrik dari berbagai sumber dan menambah atau mengurangi jumlah Pod secara otomatis. Dalam konteks AI, ini berarti infrastruktur bisa mengikuti permintaan nyata tanpa membayar kapasitas yang menganggur.

#Efisiensi yang Menjadi FinOps

Autoscaling yang baik adalah jembatan antara episode ini dan episode 13 tentang FinOps. Dengan menyesuaikan kapasitas terhadap permintaan, organisasi tidak membayar GPU idle — dan itu adalah penghematan yang sangat besar mengingat harga GPU.

#Kubeflow dan Tooling MLOps

#Ekosistem Alat untuk Machine Learning

Di luar Kubernetes inti, ada Kubeflow — platform machine learning yang berjalan di atas Kubernetes, menyatukan training, tuning, dan serving model dalam satu alur kerja. Kubeflow adalah contoh bagaimana kebutuhan AI diterjemahkan menjadi alat cloud native.

Ekosistem MLOps di sekitar Kubernetes terus tumbuh: alat untuk melatih model, memantau percobaan, dan men-serving inference. Bagi kalian yang tertarik persilangan AI dan DevOps, wilayah ini adalah ladang yang luas dan masih berkembang.

#Memantau Workload ML

Ketika sebuah platform ML berjalan di Kubernetes, ia dikelola seperti workload lain: dengan namespace, Pod, dan resource yang bisa dipantau. Perintah berikut memperlihatkan bagaimana workload ML dilihat oleh operator:

kubectl get pods -n kubeflow
kubectl get deployments -A | grep -i "serve"

Perintah kubectl get pods -n kubeflow menampilkan Pod milik platform Kubeflow, dan grep -i "serve" mencari workload yang berhubungan dengan serving model. Ini menunjukkan bahwa workload AI pada akhirnya tetap dikelola sebagai workload Kubernetes biasa.

#TAG AI dan Proyek-Proyek Baru

#Wadah Resmi untuk AI di CNCF

CNCF merespons era AI secara terstruktur lewat TAG AI — salah satu TAG termuda yang kita kenal di episode 7. TAG ini menjadi wadah diskusi bagaimana AI dan cloud native saling memengaruhi, serta tempat lahirnya panduan dan praktik terbaik.

Seiring itu, semakin banyak proyek AI dan LLM masuk ke sandbox. Pola ini mirip dengan awal mula cloud native: teknologi baru datang, lalu ekosistem menyerapnya melalui proyek-proyek yang dirawat komunitas.

#Menonton Perkembangannya

Bagi kalian yang mengikuti series ini sampai akhir, inilah salah satu area paling menarik untuk dipantau: setiap kuartal ada proyek AI baru yang masuk katalog CNCF. Membaca katalog secara berkala — kebiasaan yang kita latih di episode 6 — akan membuat kalian melihat tren AI cloud native sejak dini.

#Shadow AI dan Tantangan Keamanan

#Ancaman Baru dalam CI/CD

Seiring maraknya AI, muncul ancaman baru yang disebut Shadow AI: penggunaan alat AI oleh karyawan tanpa sepengetahuan atau pengawasan tim IT dan keamanan. Dalam konteks cloud native, Shadow AI bisa muncul dalam pipeline CI/CD — misalnya kode yang dihasilkan AI tanpa direview benar.

Shadow AI menimbulkan risiko nyata: kode yang kualitas dan keamanannya tidak terjamin, serta data internal yang bisa bocor ke layanan pihak ketiga. Inilah salah satu alasan TAG Security dan TAG AI bekerja sama dalam threat model baru.

#Mengelola Risiko Tanpa Menghambat

Tantangannya adalah menemukan keseimbangan: memanfaatkan kekuatan AI tanpa mengorbankan keamanan. Pendekatan yang sehat adalah kebijakan yang jelas, review yang disiplin, dan kesadaran tim — bukan pelarangan total yang justru mendorong pemakaian sembunyi-sembunyi.

#Penutup

Episode 17 membedah pertemuan AI dan cloud native: Kubernetes sebagai platform AI untuk inference GPU, DRA untuk alokasi sumber daya dinamis, KEDA untuk autoscaling, Kubeflow sebagai tooling MLOps, serta tantangan Shadow AI di tengah tren yang berkembang pesat.

Inti yang harus dibawa pulang:

• 66% organisasi AI memakai Kubernetes untuk inference generative AI.
• DRA memungkinkan alokasi GPU secara dinamis di Kubernetes.
• KEDA menyediakan autoscaling berbasis event untuk workload AI.
• Kubeflow adalah platform ML yang berjalan di atas Kubernetes.
• TAG AI menjadi wadah resmi diskusi AI dalam ekosistem CNCF.
• Shadow AI adalah ancaman keamanan baru yang perlu dikelola secara seimbang.

Di episode 18 kita akan membahas tren yang mengubah cara organisasi bekerja: platform engineering dan internal developer platform — konsep IDP, golden paths, dan peran TAG Platform Engineering serta proyek-proyek terkaitnya.