Belajar Data Center Engineer - AI & GPU Data Centers

#Pendahuluan

Sepanjang series ini kita membangun pemahaman DC klasik — rak 5-15 kW, cooling udara, power feed 32A. Episode ini adalah titik baliknya: AI data center mematahkan hampir semua asumsi itu. Rak training model modern mencapai 100+ kW — sepuluh kali densitas tradisional — dan satu-satunya cara mendinginkannya adalah cairan.

Ini bukan niche lagi; ini arah utama permintaan kapasitas global. Bagi engineer DC, memahami desain AI-ready sekarang sama pentingnya dengan memahami UPS dua dekade lalu. Kita bedah empat pilar perubahannya: density, liquid cooling, network fabric, dan power delivery.

#Density: Angka yang Mengubah Semuanya

Perbandingan langsung biar terasa:

Generasi	Contoh Beban	Power/Rack	Cooling
Tradisional	Server umum 2U	5-15 kW	Udara
Virtualisasi berat	Blade/full rack compute	20-30 kW	Udara + containment ketat
GPU inference	Node H100-class beberapa unit	40-60 kW	Udara batas atas / hybrid
GPU training	NVL72 class (72 GPU + 36 CPU)	±100-130 kW	Liquid wajib

Mengapa begitu ekstrem? Satu node GPU flagship bisa menarik 10+ kW sendirian. Densitas chip naik lebih cepat daripada efisiensi termal udara — batas fisik konvektif udara (±30-40 kW/rack realistis) sudah dilewati jauh.

#Liquid Cooling: Direct-to-Chip Secara Anatomi

Tiga keluarga liquid cooling: direct-to-chip (cold plate di chip), rear-door heat exchanger, dan immersion. Era AI didominasi direct-to-chip. Rantai lengkapnya:

100%

Istilah yang wajib kalian kenal:

Cold plate — pelat tembaga/aluminium menempel langsung di die GPU/CPU; air membawa panas keluar.
Manifold & quick disconnect — jalur air vertikal di rak plus konektor cepat tanpa tumpah saat RMA.
CDU (Coolant Distribution Unit) — pompa+heat exchanger yang memisahkan dua loop: TCS (Technology Cooling System, air murni bersih menuju rak) dan FWS/TCO (facility water, air plant). Isolasi ini melindungi server dari kualitas air fasilitas.
Water quality program — inhibitor korosi, pengendapan biologis, monitoring conductivity/pH; air buruk = karat di dalam server seharga ratusan ribu dolar.

Warning

Kebocoran bukan lagi hipotesis — ia agenda operasional. Leak detection sensor di bawah manifold, prosedur quick-disconnect saat RMA, dan latihan respons bocor harus ada SEBELUM rak pertama menyala. Air + listrik butuh disiplin baru bagi tim yang selama ini hanya urusan udara.

#Network Fabric: Jantung Kluster GPU

Training model besar adalah satu komputasi raksasa yang tersebar di ratusan GPU — komunikasi antar-GPU (all-reduce gradient) sangat intensif dan sinkron. Konsekuensi desainnya:

Non-blocking fat-tree/spine-leaf skala besar — episode 6 kita belajar polanya; di sini ia diterapkan agresif: oversubscription 1:1 mutlak untuk jaringan GPU.
400G/800G per link — InfiniBand atau Ethernet (RoCEv2); keduanya hidup berdampingan di industri.
Rail-optimized topology — GPU-0 semua node terhubung ke switch rail-0, GPU-1 ke rail-1, dst.; pola trafik all-reduce jadi satu hop.
Jaringan terpisah: fabric GPU (compute), storage network, dan management — tiga dunia yang tidak boleh bercampur.

Dampak ke fasilitas: jumlah fiber dan konektor MPO meledak; kebersihan konektor fiber dan dokumentasi patch menjadi skill kritikal (episode 5 kembali relevan).

#Power Delivery: Naik Kelas

Rak 120 kW tak bisa disuplai PDU plug biasa:

text

Feed tradisional : PDU 32A/230V 1-fase   ≈ 5-6 kW aman
Rak AI           : busway tap-off 400-600A per rack
                   atau multiple feed 3-fase per rack

Konsekuensinya berjenjang sampai atas: trafo dan switchgear mendekati ruang IT (medium voltage langsung ke hall pada desain terbaru), genset & UPS kapasitas jauh lebih besar, dan floor loading rak AI bisa melampaui 1500 kg — struktur lantai ikut ditinjau ulang.

#Checklist Desain AI-Ready

Gunakan daftar ini untuk menilai kesiapan fasilitas (existing maupun colo):

dc-docs/site/ai-ready-checklist.md

# AI-Ready Readiness Checklist - DC-JKT01
 
## Daya
[ ] Kapasitas MW tersedia & timeline penambahan
[ ] Busway high-density atau rencana retrofit
[ ] Studi beban non-linier (harmonik PSU GPU) dilakukan
[ ] Genset + UPS sizing untuk profil inrush kluster
 
## Thermal
[ ] Kapasitas chilled water cadangan (kW) terukur
[ ] Ruang untuk CDU facility + pipa routing
[ ] Kebijakan water quality & leak response siap
[ ] Zona hybrid (air + liquid) bisa koeksis
 
## Jaringan
[ ] Jalur fiber backbone tambahan untuk fabric GPU
[ ] Ruang ToR/sidecar switch per rak AI
[ ] Desain rail-optimized direview bersama tim HPC
 
## Operasi
[ ] Teknisi terlatih liquid cooling & RMA QD
[ ] Prosedur leak drill teruji
[ ] Spare part spesifik AI (QD, manifold seal)
[ ] Monitoring: flow rate & delta-T loop per rak

Poin sering terlewat: profil harmonik PSU GPU membebani sistem daya beda dari server klasik — konsultasikan ke vendor UPS sebelum kluster besar menyala.

#Common Pitfalls AI DC

Meretrofit tanpa studi — "tinggal ganti CRAH jadi RDHx" tanpa hitung kapasitas chilled water = proyek gagal setengah jalan.
Fabric GPU dicampur jaringan umum — satu traffic backup besar mengganggu sinkronisasi training; isolasi mutlak.
Lupa siklus hidup air — program kimia air dianggap sekali-jalan; tanpa monitoring berkala, korosi datang diam-diam.
Menilai readiness dari brosur colo — minta data teknis (kapasitas CDU, redundansi loop, hasil uji failover cooling), bukan klaim marketing.

#Penutup

Inti yang harus dibawa pulang:

Rak AI 100+ kW adalah kelas berbeda: densitas GPU melampaui batas fisik cooling udara.
Direct-to-chip punya anatomi lengkap: cold plate → manifold → CDU → loop TCS/FWS; kualitas air dan leak response adalah disiplin baru.
Fabric GPU = non-blocking 400/800G rail-optimized, terpisah total dari jaringan lain.
Daya naik kelas ke busway high-density hingga medium voltage; floor loading ikut dihitung ulang.

Di episode 22 selanjutnya kita otomasi semuanya: automation data center — target automation yang bernilai, playbook Ansible untuk inventaris sensor BMC, integrasi API NetBox via Python, prinsip idempotensi dan guardrails, serta konsep digital twin yang mulai dipakai fasilitas modern untuk mensimulasikan keputusan sebelum dieksekusi. Sampai jumpa di episode 22!