Belajar Apache Kafka - Cloud-Native Kafka (AWS MSK, Confluent Cloud)

#Pendahuluan

Mengoperasikan Kafka sendiri berarti mengelola broker, upgrade, monitoring, dan recovery — beban yang nyata. Kafka terkelola memindahkan beban itu ke penyedia cloud: kalian fokus pada aplikasi, bukan infrastruktur. Episode 30 ini membandingkan layanan utama dan menunjukkan cara memakainya.

Kalian akan belajar AWS MSK beserta serverless dan MSK Connect, Confluent Cloud dengan tier-nya, Azure Event Hubs dan Aiven sebagai alternatif, serta pertimbangan biaya, vendor lock-in, dan strategi multi-cloud serta hybrid.

#Managed Kafka Services

#Perbandingan Layanan

Empat layanan utama yang harus kalian kenal:

• AWS MSK (Managed Streaming for Apache Kafka): Kafka asli di AWS, kompatibel penuh dengan API Kafka, diintegrasikan dengan IAM dan VPC.
• Confluent Cloud: Kafka dengan ekosistem Confluent lengkap (Schema Registry, ksqlDB, Connect) sebagai SaaS.
• Azure Event Hubs for Kafka: endpoint yang kompatibel dengan protokol Kafka di atas layanan Event Hubs.
• Aiven for Apache Kafka: layanan open-source terkelola multi-cloud dengan fokus portabilitas.

#Memilih Layanan

Pertimbangkan: seberapa dalam integrasi dengan cloud yang kalian pakai (MSK untuk AWS), kebutuhan ekosistem Confluent (Schema Registry, ksqlDB, Connect sebagai layanan), dan kebutuhan multi-cloud (Aiven). Kompatibilitas protokol berarti klien Kafka biasa bisa dipakai di semua layanan ini.

#AWS MSK

#Membuat Cluster

Cluster MSK dibuat lewat CLI atau konsol:

aws kafka create-cluster-v2 \
  --cluster-name orders-kafka \
  --provisioned '{"brokerNodeGroupInfo":{"instanceType":"kafka.m7g.large","clientSubnets":["subnet-a"],"clientAuthentication":{"sasl":{"iam":{"enabled":true}}}},"numberOfBrokerNodes":3,"kafkaVersion":"3.7"}'

aws kafka create-cluster-v2 membuat cluster provisioned dengan tiga broker. numberOfBrokerNodes: 3 dan kafkaVersion: 3.7 menentukan skala; clientAuthentication.sasl.iam mengaktifkan autentikasi IAM (tanpa mengelola user terpisah).

#Serverless MSK

Untuk workload yang berfluktuasi, MSK Serverless menyesuaikan kapasitas otomatis — kalian tidak menetapkan jumlah broker. Cocok untuk aplikasi dengan traffic tidak terduga atau tahap awal yang belum tahu kapasitas. Trade-off: kapasitas maksimum per cluster terbatas dan biaya per penggunaan lebih tinggi pada volume besar.

#MSK Connect dan IAM Authentication

• MSK Connect: layanan terkelola untuk menjalankan connector Kafka Connect (episode 12) tanpa mengelola worker.
• IAM authentication: prinsipal IAM menggantikan user SASL; kebijakan IAM mengontrol akses per action dan resource — pendekatan yang rapi untuk lingkungan AWS penuh.

#VPC dan CloudWatch

Cluster MSK hidup di dalam VPC. Klien di luar VPC memerlukan VPC peering, PrivateLink, atau load balancer. Monitoring via CloudWatch mengekspos metrik kunci (under-replicated partitions, offline partitions, throughput) tanpa setup Prometheus terpisah.

#Confluent Cloud

#Cluster Types dan ksqlDB Cloud

Confluent Cloud menawarkan tier:

• Basic: untuk development dan beban kecil.
• Standard: produksi umum dengan fitur keamanan dan monitoring.
• Dedicated: tenancy terisolasi, kapasitas dijamin, untuk beban besar dan kepatuhan ketat.

ksqlDB Cloud (episode 14) berjalan sebagai layanan, begitu juga Schema Registry terkelola dan marketplace connectors — kalian memakai ekosistem Confluent tanpa mengoperasikan server.

Setup Confluent Cloud dilakukan lewat CLI:

confluent login
confluent environment create dev --resource-group rg-dev
confluent kafka cluster create orders-kafka --cloud aws --region ap-southeast-1 \
  --type basic --environment dev
confluent api-key create --resource orders-kafka

confluent kafka cluster create --type basic membuat cluster tier Basic di region terpilih, dan confluent api-key create menghasilkan kredensial klien. Seluruh siklus hidup cluster — termasuk destroy — dikelola lewat CLI yang sama.

#Fitur Unggulan

• Stream Lineage: visualisasi asal-usul data antar topic dan pipeline.
• Connectors marketplace: ratusan connector siap pakai.
• Schema Registry managed: governance skema tanpa operasi.
• Cost optimization: monitor kredit/unit yang dipakai dan gunakan cluster yang sesuai ukuran.

#Pertimbangan Cloud

#Vendor Lock-in

Menggunakan MSK berarti terikat pada AWS (IAM, VPC, CloudWatch), sementara Confluent Cloud bersifat cloud-agnostic tetapi terikat pada layanan Confluent. Kurangi risiko dengan: memakai API Kafka standar (portabel), menyimpan definisi topic dan skema sebagai code (episode 31), dan merancang lapisan abstraksi di aplikasi.

#Cost Analysis dan Multi-Cloud

Hitung total biaya: instance broker, storage, jaringan egress, dan komponen tambahan (Connect, Schema Registry). Bandingkan dengan biaya self-managed (sewa node, jam engineering, risiko outage). Strategi hybrid memungkinkan Kafka on-premise untuk data sensitif plus cloud untuk burst capacity; multi-cloud memakai layanan berbeda per region untuk redundansi — koordinasikan dengan replikasi lintas cluster (episode 25).

#Penutup

Di episode 30 ini kalian sudah memahami layanan Kafka terkelola: AWS MSK dengan serverless dan MSK Connect, Confluent Cloud dengan tier dan ekosistemnya, Azure Event Hubs dan Aiven sebagai alternatif, serta pertimbangan biaya, vendor lock-in, dan strategi multi-cloud.

Inti yang harus dibawa pulang:

• MSK memberikan Kafka asli yang terintegrasi dengan ekosistem AWS.
• MSK Serverless menyesuaikan kapasitas untuk traffic yang fluktuatif.
• IAM authentication menggantikan user SASL di AWS.
• Confluent Cloud menawarkan Schema Registry, ksqlDB, dan Connect terkelola.
• Event Hubs dan Aiven menyediakan protokol Kafka lintas cloud.
• Hitung total cost of ownership dan kurangi lock-in dengan standar Kafka.

Di episode 31 selanjutnya kita akan membahas CI/CD dan infrastructure as code — Terraform untuk Kafka, konfigurasi topic dan ACL sebagai code, pipeline CI/CD untuk testing dan canary deployment, serta GitOps dengan ArgoCD dan Flux.