Belajar Data Center Engineer - Networking Infra DC

#Pendahuluan

Setelah di episode 5 kita menyelesaikan pekerjaan fisik rack dan cabling, sekarang kabel-kabel itu kita hidupkan: networking infrastruktur data center. Jaringan adalah saraf pusat DC — dan desainnya berbeda fundamental dari jaringan kantor. Traffic di DC mengalir east-west (server ke server) jauh lebih besar daripada north-south (ke internet): database berbicara dengan aplikasi, node storage mereplikasi ke peer-nya, hypervisor memigrasikan VM.

Topologi lama three-tier (access-aggregation-core) tidak dirancang untuk pola itu. Di episode ini kita bedah penggantinya — spine-leaf — lengkap dengan underlay/overlay, redundancy, dan OOB management.

#Mengapa Spine-Leaf Menggantikan Three-Tier

Masalah three-tier untuk traffic east-west: dua server di rack berbeda harus naik-turun hierarki melewati aggregation, menciptakan hop variabel dan bottleneck di link atasnya. Spine-leaf memecahnya:

Properti yang membuatnya unggul:

• Latensi prediktabel: setiap leaf terhubung ke setiap spine; server mana pun hanya 2 hop dari peer-nya.
• Bandwidth east-west skala horizontal: butuh kapasitas lebih? Tambah spine atau tambah uplink per leaf.
• Tidak ada single point failure: hilangnya satu spine hanya memangkas sebagian kapasitas, tidak putus jalur.

#Oversubscription Ratio

Rasio antara kapasitas downlink total vs uplink total:

Leaf: 48 port 10G downlink + 8 port 100G uplink
Downlink total = 480 Gbps ; Uplink total = 800 Gbps
Ratio = 480 / 800 = 0.6x → non-blocking (tidak oversubscribed)
 
Contoh oversubscribed: 48 x 10G vs 4 x 10G = 4.8 : 1

Kluster virtualisasi dan storage umumnya didesain mendekati non-blocking (1:1); tier aplikasi web bisa mentolerir 3:1-4:1. Angka ini wajib tertulis di dokumen desain network kalian.

#Underlay BGP: Fondasi Routing Fabric

Fabric modern dibangun di atas dua lapisan: underlay (routing IP murni antar leaf-spine) dan overlay (jaringan virtual di atasnya). Underlay standar de facto adalah eBGP — sederhana, self-healing, tanpa spanning-tree. Berikut konfigurasi FRR pada sebuah leaf (file /etc/frr/frr.conf):

frr version 10.0
frr defaults traditional
hostname leaf01
service integrated-vtysh-config
!
router bgp 65011
 bgp router-id 10.255.0.11
 no bgp ebgp-requires-policy
 bgp bestpath as-path multipath-relax
 neighbor FABRIC peer-group
 neighbor FABRIC remote-as external
 neighbor swp49 interface peer-group FABRIC
 neighbor swp50 interface peer-group FABRIC
 !
 address-family ipv4 unicast
  network 10.0.11.0/24
  neighbor FABRIC activate
 exit-address-family
!
line vty

Yang perlu dipahami, baris demi baris konsepnya:

• bgp 65011 — ASN unik per leaf (spine pakai 65001/65002); eBGP antar ASN otomatis membentuk routing fabric.
• remote-as external + interface peer-group — unnumbered interfaces; tak perlu IP per-link, tetangga ditemukan otomatis.
• multipath-relax — izinkan ECMP lintas path agar semua uplink terpakai.
• network 10.0.11.0/24 — subnet VLAN server rack ini diumumkan ke fabric.

Di spine, polanya identik: ASN beda, tanpa network statement — spine murni transit. Verifikasi di lab FRR/container kalian:

vtysh -c "show bgp ipv4 unicast summary"
vtysh -c "show bgp ipv4 unicast"

Semua tetangga Established dan prefix server terlihat dari kedua spine = underlay sehat.

#Overlay EVPN-VXLAN: L2 Tanpa Spanning-Tree

Kebutuhan klasik DC: VLAN/subnet yang membentang antar rack (VM pindah rack tanpa ganti IP). Solusi lama (stretch L2 via trunk + STP) rapuh. Solusi modern: VXLAN membungkus frame L2 dalam UDP, dan EVPN (BGP address family) mendistribusikan informasi MAC/IP — routing di dalam, switching semu di atas.

Konsekuensi praktis bagi engineer DC:

• Broadcast storm ala STP hilang; loop fisik aman karena forwarding berbasis routing.
• VM dapat dimigrasi lintes rack/site tanpa re-IP (fondasi live migration episode 8).
• Konfigurasi overlay biasanya ditangani controller/automation — topik episode 22 dan 23.

#Redundansi Server-Side: Dual-ToR dan Bonding

Redundansi fabric belum lengkap tanpa redundansi akses. Standar rak kritikal: dual-ToR — dua switch independen per rack, server terhubung ke keduanya via LACP bonding:

nmcli con add type bond con-name bond0 ifname bond0 \
  bond.options "mode=802.3ad,miimon=100,lacp_rate=fast"
nmcli con add type ethernet slave-type bond con-name bond0-e1 \
  ifname enp1s0 master bond0
nmcli con add type ethernet slave-type bond con-name bond0-e2 \
  ifname enp2s0 master bond0
nmcli con up bond0

Dua ToR harus saling sinkron state (MLAG/mCLAG/ESI-LAG) agar terlihat sebagai satu logical switch oleh server. Verifikasi fisik link-nya:

ip -br link | grep -E "bond|enp"
ethtool enp1s0 | grep -E "Speed|Link"
lldpctl | grep -A3 "Interface:"

Output lldpctl memberi tahu persis switch/port mana tempat kabel itu tertancap — padanan digital label kabel dari episode 5.

#OOB Management: Jaringan Penyelamat

Terakhir, prinsip yang sering baru disadari saat bencana: out-of-band management network. Ini jaringan fisik terpisah (switch mgmt terpisah, bahkan path daya sendiri) yang hanya mengangkut traffic BMC/iDRAC/iLO dan console switch. Saat fabric produksi mati total, OOB adalah satu-satunya pintu masuk kalian.

Aturan mainnya:

• OOB tidak boleh punya jalur ke fabric produksi (isolasi total).
• Setiap BMC, console port switch/router, dan PDU pintar ada di OOB.
• Akses ke OOB lewat jump host + MFA (pengerasan lanjut di episode 18).

#Common Pitfalls Network DC

• Mengandalkan satu spine — topologi benar tapi implementasi cuma satu unit spine = redundansi kosong.
• MTU tidak konsisten — VXLAN menambah overhead 50+ byte; fabric yang lupa set jumbo MTU 9216 akan menelan waktu debugging MTU blackhole.
• ECMP hash yang timpang — beberapa flow besar bisa menumpuk di satu link; pantau utilisasi per-uplink, bukan rata-rata bundle.
• OOOB dicampur produksi — begitu fabric mati, alat penyelamat ikut tenggelam.

#Penutup

Inti yang harus dibawa pulang:

• Traffic DC dominan east-west; spine-leaf memberi latensi 2-hop konsisten dan scaling horizontal.
• Oversubscription ratio adalah angka kontrak desain: 1:1 untuk kluster kritikal, 3-4:1 cukup untuk tier web.
• Underlay eBGP (contoh FRR di atas) + overlay EVPN-VXLAN adalah pasangan standar fabric modern.
• Dual-ToR + LACP bonding untuk akses; OOB management terpisah total sebagai jalur darurat.

Di episode 7 selanjutnya kita beralih ke data itu sendiri: storage & SAN — perbedaan DAS/NAS/SAN, anatomi fiber channel (HBA, zoning, WWPN), iSCSI dan NVMe-oF sebagai alternatif, serta praktik multipath yang membuat jalur storage kalian benar-benar redundant. Sampai jumpa di episode 7!