Belajar Data Architect - Data Governance Framework

#Pendahuluan

Setelah di episode 7 kita membangun aliran data yang real-time, sekarang kita membahas lapisan yang sering dianggap "tugas siapa-siapa": data governance. Banyak organisasi menunda governance karena terasa abstrak dan tidak menghasilkan — padahal justru tanpa governance, semua investasi pipeline dan platform kehilangan nilainya.

Mengapa episode ini penting? Karena governance adalah perbedaan antara data lake dan data swamp, antara "data kita" dan "data yang tidak jelas milik siapa". Arsitek yang merancang pipeline tanpa governance akan menghadapi masalah yang sama berulang kali: data duplikat, definisi yang bertabrakan, dan konsumen yang tidak tahu data mana yang bisa dipercaya.

#Apa Itu Data Governance

Data governance adalah kerangka yang memastikan data dikelola dengan baik: siapa yang bertanggung jawab, data apa yang ada, bagaimana dipakai, dan bagaimana dipastikan akurat serta aman. Ini bukan produk teknologi — ini organisasi + proses + teknologi.

OWNERSHIP    → siapa yang bertanggung jawab atas data (steward)
CATALOG      → data apa yang ada dan di mana
LINEAGE      → dari mana data berasal dan ke mana mengalir
POLICY       → aturan pemakaian, kualitas, dan keamanan

#Data Catalog

Data catalog adalah inventaris semua aset data organisasi — seperti katalog perpustakaan. Tanpa catalog, konsumen tidak bisa menemukan data; tanpa menemukan, tidak bisa memakai; tanpa memakai, semua pipeline sia-sia.

Fungsi utama catalog:

Tool populer 2026: OpenMetadata, DataHub, Amundsen (self-hosted); atau Unity Catalog, Databricks Catalog, Glue Catalog (platform-specific).

dataset: silver.sales.orders
owner: tim-sales-data
quality_score: 98
freshness: last_loaded 2026-08-16 02:00
tags: [sales, pii-customer]
documentation: |
  Semua pesanan yang tercatat di sistem order.
  Status valid: created, paid, shipped, done, canceled.

#Metadata: Konteks yang Membuat Data Berguna

Metadata adalah data tentang data. Tiga jenis yang wajib dikelola:

1. Technical metadata — schema, tipe, partisi, format file.
2. Business metadata — definisi bisnis, owner, domain, aturan pemakaian.
3. Operational metadata — waktu load, jumlah baris, status pipeline, error rate.

Data tanpa metadata hanyalah byte; metadata memberi konteks yang membuat byte itu bisa dipercaya dan dipakai.

#Data Lineage

Lineage mencatat asal-usul dan perjalanan data: dari sistem sumber, melalui pipeline, sampai ke dashboard. Dua kegunaan utama:

postgres.orders
   └→ bronze.orders (ingestion harian)
        └→ silver.orders (dbt transform)
             └→ gold.fact_sales (dbt modeling)
                  ├→ dashboard revenue
                  └→ ML feature: orders_30d

Impact analysis: sebelum mengubah kolom status di sumber, arsitek bisa melihat semua downstream yang terdampak. Root cause analysis: saat dashboard salah, arsitek bisa menelusuri dari mana kesalahan berasal. Kita bahas lineage end-to-end lebih dalam di episode 20.

#Data Stewardship

Stewardship adalah kepemilikan manusia atas data. Setiap domain data harus punya steward — orang yang bertanggung jawab atas kualitas, definisi, dan akses datanya. Ini biasanya data engineer senior atau analis yang paling mengenal domainnya.

Tanggung jawab steward:

• Menjaga definisi bisnis dataset agar konsisten.
• Menetapkan target kualitas dan memonitornya.
• Menyetujui permintaan akses sesuai policy.
• Memastikan dokumentasi dan metadata selalu terkini.

Tanpa steward, governance berjalan di atas kertas: policy ada, tapi tidak ada yang menjalankan. Steward adalah titik kontak manusia antara dunia data dan dunia bisnis.

#Praktik: Membangun Framework Governance

#Step 1: Identifikasi Domain Data

Petakan data ke domain bisnis (sales, finance, customer, product) dan tetapkan satu owner per domain — ini juga fondasi data mesh yang kita bahas di episode 12.

#Step 2: Standarisasi Data yang Paling Dipakai

Jangan mengatur semuanya sekaligus. Pilih critical data elements (CDE) — data yang paling sering dipakai dan paling berpengaruh jika salah:

- customer.id  (dipakai hampir semua dashboard)
- sales.revenue (angka paling dipercaya manajemen)
- product.status (menentukan ketersediaan)

Tetapkan untuk masing-masing: definisi tunggal, owner, target kualitas, dan proses persetujuan perubahan.

#Step 3: Aktivasi Catalog + Lineage

Install OpenMetadata/DataHub, hubungkan ke platform (BigQuery/Databricks/dbt), dan pastikan: setiap dataset punya owner terisi, kualitas terukur, dan lineage ter-record otomatis.

#Step 4: Evaluasi Berkala

Governance bukan proyek sekali jadi — itu proses berkelanjutan. Evaluasi kuartalan: berapa % dataset punya owner? Berapa % CDE yang kualitasnya dipantau? Berapa permintaan akses disetujui?

#Penutup

Inti yang harus dibawa pulang:

• Governance = ownership + catalog + lineage + policy, bukan sekadar tool.
• Data catalog membuat data bisa ditemukan; metadata memberi konteks.
• Lineage memungkinkan impact analysis dan root cause analysis.
• Steward adalah pemilik manusia dari setiap domain data.
• Mulai dari critical data elements dan perluas bertahap.

Di episode 9 selanjutnya kita akan membahas Data Quality & Observability — SLO data, monitoring pipeline, dan cara membangun kerangka kualitas data yang mencegah data buruk menyebar. Sampai jumpa di episode 9!