Belajar Apache Kafka - Security Best Practices & Compliance

#Pendahuluan

Setelah membangun autentikasi, authorization, dan enkripsi di episode 16-18, saatnya melihat keamanan secara menyeluruh. Keamanan bukan satu fitur, melainkan praktik yang menyebar ke seluruh siklus hidup: konfigurasi, data, operasi, dan kode. Episode 33 ini merangkainya menjadi panduan hardening dan kepatuhan.

Kalian akan belajar prinsip-prinsip hardening, kepatuhan seperti GDPR dengan retention dan audit logging, pemantauan keamanan untuk mendeteksi serangan, serta secure development dengan secret management dan scanning otomatis.

#Security Hardening

#Prinsip Least Privilege

Semua akses dibatasi pada kebutuhan minimum (episode 17):

• Setiap aplikasi punya service account terpisah dengan ACL yang spesifik.
• Jangan memakai super user untuk operasi rutin.
• Batasi ClusterAction, Alter, dan Delete hanya untuk tooling admin.
• Tinjau dan cabut ACL yang tidak terpakai secara berkala.

#Network Segmentation

Jangan biarkan port broker terbuka ke internet. Segmentasi jaringan:

• Internal listener hanya untuk replikasi dan klien dalam VPC (episode 15).
• Security group/firewall membatasi source IP dan port.
• Gunakan PrivateLink atau VPN untuk klien eksternal, bukan ekspos publik.
• Pisahkan environment development, staging, dan produksi secara jaringan.

#Encryption Everywhere

Terapkan enkripsi berlapis:

• In transit: TLS untuk semua koneksi klien dan antar broker (episode 18).
• At rest: enkripsi disk (EBS, LUKS) untuk data log (episode 18).
• Data sensitive: enkripsi tambahan di aplikasi untuk field PII sebelum ditulis.

#Audit dan Vulnerability Scanning

• Audit berkala: tinjau ACL, user, listener, dan versi broker.
• Vulnerability scanning: pindai image Docker dan dependency aplikasi secara rutin di pipeline CI.
• Ikuti rilis keamanan Kafka dan Confluent; jadwalkan upgrade.

#Compliance Considerations

#GDPR dan Data Retention

Kepatuhan seperti GDPR mengharuskan data pribadi (PII) ditangani dengan aturan ketat:

• Retention: batasi umur data PII sesuai kebutuhan. Konfigurasi retention.ms per topic; gunakan cleanup policy yang sesuai (episode 4 dan 10).
• Right to erasure: tombstone (episode 10) adalah mekanisme penghapusan per key dari topic compact.
• PII handling: hindari menulis PII mentah ke topic; anonimisasi atau mask sebelum publish.

retention.ms=86400000
cleanup.policy=compact,delete
delete.retention.ms=604800000

retention.ms=86400000 membatasi data 24 jam, sementara cleanup.policy=compact,delete menggabungkan ringkasan per key dengan batasan umur — pola umum untuk data yang mengandung PII.

#Audit Logging dan Data Masking

• Audit logging: aktifkan logging request yang relevan (misalnya perubahan ACL, operasi admin) ke sistem audit terpusat.
• Data masking: pastikan field sensitif seperti nomor kartu atau email tidak muncul di log, metrik, atau record yang keluar topic.
• Dokumentasikan alur data: dari mana data datang, ke mana pergi, dan berapa lama disimpan — basis kepatuhan dan investigasi.

#Security Monitoring

#Mencermati Autentikasi dan Authorization

Pantau kegagalan keamanan sebagai tanda awal serangan:

• Authentication failures: lonjakan gagal login menandakan brute force atau kredensial salah.
• Authorization failures: request yang ditolak ACL berulang menandakan klien mencoba akses terlarang atau konfigurasi salah.

Kedua metrik ini tersedia di log broker dan bisa dihitung per prinsipal.

#Unusual Access dan Data Exfiltration

• Unusual access patterns: akses dari IP baru, prinsipal baru, atau jam tidak biasa — alert dan investigasi.
• Data exfiltration detection: volume baca yang melonjak dari satu klien, atau consumer baru yang tiba-tiba membaca seluruh topic — tanda penyalahgunaan. Pantau bytes-out per client dan bandingkan dengan baseline.

grep "Principal = User:app-producer" /var/log/kafka/server.log | tail -20

grep "Principal = ..." /var/log/kafka/server.log menunjukkan aktivitas per prinsipal. Integrasikan log ini dengan SIEM untuk deteksi terpusat.

#Secure Development

#Secret Management

Jangan pernah menaruh kredensial di kode atau konfigurasi yang ter-version control:

• Simpan secret di Vault, AWS Secrets Manager, atau K8s Secrets.
• Ambil secret saat runtime, bukan saat build.
• Rotasi secret terjadwal; pastikan aplikasi memuat ulang tanpa restart penuh.

#Dependency dan Certificate Automation

• Dependency scanning: pindai dependency aplikasi di CI (SBOM, alat seperti Snyk/Trivy).
• Certificate rotation automation: sertifikat TLS diperbarui otomatis (episode 18), misalnya dengan cert-manager atau Vault PKI.
• Adopsi rilis keamanan: subscribe ke security advisories Kafka dan library klien.

#Penutup

Di episode 33 ini kalian sudah memahami hardening dengan least privilege dan network segmentation, kepatuhan GDPR dengan retention dan audit logging, pemantauan keamanan untuk deteksi akses mencurigakan, serta secure development dengan secret management dan scanning.

Inti yang harus dibawa pulang:

• Least privilege dan network segmentation adalah dasar hardening.
• Enkripsi in-transit dan at-rest wajib untuk data produksi.
• GDPR menuntut retention terkontrol dan mekanisme penghapusan per key.
• Pantau kegagalan autentikasi, authorization, dan pola baca anomali.
• Secret tidak pernah masuk repositori; gunakan secret manager.
• Otomatiskan scanning dependency dan rotasi sertifikat.

Di episode 34 selanjutnya kita akan membahas operational excellence dan production readiness — checklist produksi, prosedur operasional seperti upgrade dan maintenance, baseline performa, masalah umum di produksi, troubleshooting, dan optimasi biaya.