Belajar Data Architect - Reference & Enterprise Architecture

#Pendahuluan

Setelah di episode 16 kita menata integrasi antar sistem, sekarang kita naik satu level: enterprise architecture. Jika domain architecture menjawab "bagaimana tim sales membangun data mereka", enterprise architecture menjawab "bagaimana seluruh organisasi membangun data secara konsisten, tanpa tiap tim menciptakan standar sendiri-sendiri".

Mengapa episode ini penting? Karena tanpa reference architecture, tiap tim data membangun pola yang berbeda: satu tim pakai Airflow, yang lain Cron, satu tim menamai tabel sales_orders, yang lain tbl_sales_order_final_v2. Konsistensi yang dihasilkan reference architecture adalah fondasi untuk integrasi, governance, dan biaya yang terkendali.

#Reference Architecture

Reference architecture adalah pola arsitektur standar yang bisa dipakai ulang oleh banyak tim — "blueprint" yang kalau diikuti, hasilnya konsisten. Isinya: komponen standar, pola aliran data, standar penamaan, dan aturan teknis.

100%

Komponen-komponen reference architecture organisasi:

Isi reference architecture data

- Zona & layer: bronze/silver/gold + semantik tiap layer
- Ingestion: pola (batch, CDC, API) per tipe sumber
- Transformasi: dbt sebagai standar, atau Spark untuk beban berat
- Platform: orchestrator, catalog, quality tools yang disetujui
- Standar teknis: penamaan, format, partisi, kompresi
- Keamanan: klasifikasi data, RBAC, enkripsi (episode 10)

#Standar Penamaan: Contoh Kecil, Dampak Besar

Standar penamaan adalah bagian reference architecture yang paling sering dianggap sepele tapi paling cepat terasa. Tanpa standar, query antar tim jadi teka-teki:

Tanpa standar vs dengan standar

TANPA:   tbl_so_final_v2, orders_copy, sales_order_data_fix
DENGAN:  {layer}.{domain}.{entity}_{suffix}
bronze.sales.orders_raw
silver.sales.orders_vault
gold.sales.fact_orders

Standar yang jelas membuat: (1) data mudah ditemukan, (2) integrasi antar domain lebih murah, (3) governance lebih mudah dijalankan (episode 8).

#Enterprise Architecture Lintas Domain

Enterprise architecture bukan sekadar kumpulan standar teknis — ia menghubungkan tujuan bisnis dengan implementasi teknis. Tiga artefak utamanya:

Artefak	Pertanyaan yang Dijawab
Business architecture	Tujuan bisnis & proses yang butuh data
Data architecture	Data apa yang dibutuhkan & bagaimana dikelola
Application/technology architecture	Sistem dan platform yang menjalankannya

Data architect di level enterprise harus mampu menelusuri value stream: "dashboard revenue ini → butuh data dari pipeline ini → yang bergantung pada sistem ini → yang datanya dari domain ini". Menghubungkan rantai ini adalah cara memprioritaskan investasi (kita lanjutkan di episode 25 tentang business value).

#Blueprint Data

Blueprint data adalah dokumen (atau set dokumen) yang menggambarkan arsitektur data target secara utuh — kombinasi reference architecture, standar, dan peta domain. Struktur blueprint yang umum:

Struktur blueprint data enterprise

1. Visi & prinsip arsitektur data
2. As-is vs target architecture
3. Peta domain & data product
4. Reference architecture (diagram + komponen)
5. Standar: penamaan, modeling, pipeline, security
6. Katalog teknologi yang disetujui
7. Roadmap menuju target

Blueprint bukan dokumen yang disimpan di folder — ia dipakai saat keputusan dibuat: proyek baru harus mengikuti blueprint, dan penyimpangan harus melalui proses review (episode 24).

Warning

Reference architecture yang terlalu kaku (semua wajib sama persis) akan dilawan tim; yang terlalu longgar tidak dipakai siapa pun. Kuncinya: tetapkan aturan yang punya alasan teknis jelas (contoh: "bronze tidak pernah di-update" punya alasan audit), dan izinkan pengecualian melalui proses ADR — bukan diam-diam.

#Praktik: Membangun Blueprint Data

#Step 1: Petakan Kondisi Saat Ini

Dokumentasikan as-is: platform, pipeline, domain, dan standar yang sudah berjalan (yang baik dipertahankan).

#Step 2: Tentukan Target

Tetapkan target architecture (biasanya lakehouse + medallion + semantic layer) dan prinsip yang menuntunnya.

#Step 3: Tetapkan Standar Inti

Fokus pada yang paling berdampak: penamaan, layer, modeling, dan security. Jangan langsung menulis ratusan halaman aturan.

#Step 4: Pilih Teknologi yang Disetujui

Tentukan katalog teknologi: satu orchestrator, satu transformasi default, satu catalog, dan aturan kapan teknologi baru boleh masuk (harus lewat review).

#Step 5: Sosialisasikan dan Terapkan di Proyek Nyata

Blueprint tanpa penerapan adalah hiasan. Terapkan pada proyek pertama, ukur dampaknya, perbarui blueprint dari pelajaran nyata.

Tip

Blueprint terbaik adalah yang ringkas dan diikuti, bukan yang lengkap dan diabaikan. Mulai dari 10 halaman yang jelas, terus perbarui seiring proyek nyata. Setiap "kecelakaan" yang terjadi karena blueprint tidak diikuti adalah bukti perlunya enforcement lewat review — bukan lewat menebal blueprint.

#Penutup

Inti yang harus dibawa pulang:

Reference architecture = pola standar yang bisa dipakai ulang semua tim.
Standar penamaan dan layer memberi dampak konsistensi terbesar dengan biaya termurah.
Enterprise architecture menghubungkan tujuan bisnis ke implementasi data.
Blueprint data = visi + target + standar + katalog teknologi + roadmap.
Blueprint harus ditegakkan lewat proses review, bukan sekadar didokumentasikan.

Di episode 18 selanjutnya kita akan membahas Zero Trust untuk Data — akses berbasis identitas, PDP/PEP, dan ABAC sebagai lapisan keamanan yang lebih granular daripada RBAC biasa. Sampai jumpa di episode 18!