Belajar Data Architect - Pre-Requisites Skill & Setup Environment

#Pendahuluan

Selamat datang di series Belajar Data Architect! Series ini akan membawa kalian menguasai peran Data Architect — peran yang merancang fondasi data perusahaan: target architecture, standar, model, pipeline, dan governance — dari konsep dasar sampai production readiness. Total ada 28 episode yang tersusun dalam enam fase.

Tapi sebelum membuka diagram pertama, ada skill dasar dan perangkat yang wajib kalian siapkan. Mengapa prasyarat ini penting? Karena seorang Data Architect tidak membangun satu komponen, melainkan menghubungkan semuanya: ia harus memahami SQL untuk menilai kualitas model, pipeline untuk menilai aliran data, cloud untuk menilai biaya platform, dan systems thinking untuk menilai dampak perubahan terhadap keseluruhan ekosistem. Tanpa keempat fondasi ini, keputusan arsitektur hanya akan jadi opini tanpa dasar.

Episode 0 ini adalah peta jalan kalian: kita akan memastikan skill dasar terpenuhi, menyiapkan environment cloud dan tool lokal, lalu memverifikasi semuanya untuk pertama kali. Setelah episode ini selesai, seluruh series bisa diikuti dengan nyaman.

#Skill Dasar yang Wajib Dimiliki

#SQL Lanjutan

Data Architect adalah salah satu peran dengan SQL paling kuat. Kalian bukan sekadar menulis query, tapi menilai dan merancang skema. Wajib nyaman dengan JOIN, window functions, subquery, dan EXPLAIN untuk membaca query plan. Latihan kecil: jalankan query di atas dataset publik dan baca rencana eksekusinya.

SELECT
  department,
  COUNT(*) AS total_orders,
  SUM(amount) AS revenue,
  ROUND(AVG(amount), 2) AS avg_order
FROM orders o
JOIN employees e ON o.emp_id = e.id
WHERE o.created_at >= '2026-01-01'
GROUP BY department
ORDER BY revenue DESC;

Perhatikan: arsitek harus paham bahwa query di atas bekerja karena ada JOIN yang benar antara orders dan employees — keputusan desain yang dibuat jauh sebelum query itu ditulis.

#Pipeline Data dan ETL/ELT

Kalian wajib memahami perjalanan data dari sumber ke penyimpanan: extract, transform, load. Pahami perbedaan batch vs streaming, peran orchestration, dan apa artinya data berkualitas di setiap tahap. Kita akan membedah semua ini mulai episode 6, tapi pahami dulu alur besarnya:

sumber (DB/API/file) → staging → transformasi → warehouse/lake → analisis/BI

#Cloud Data Services

Hampir semua arsitektur data modern hidup di cloud. Kalian wajib paham konsep object storage (S3/GCS/ADLS), data warehouse terkelola (BigQuery, Snowflake, Redshift), dan managed compute (Databricks, EMR). Kita bandingkan secara detail di episode 5.

#Systems Thinking

Ini skill yang paling sering disepelekan. Data Architect melihat sistem sebagai keseluruhan: mengubah satu skema berdampak ke dashboard, pipeline, dan governance. Latih diri kalian selalu bertanya "kalau saya mengubah X, apa yang terjadi pada Y dan Z?" sebelum menetapkan keputusan.

#Perangkat Software dan Hardware yang Disiapkan

#Cloud Sandbox

Kalian butuh lingkungan cloud yang bisa dicoba tanpa biaya besar. Pilihan paling praktis:

• BigQuery free tier: 1 TB query per bulan gratis, langsung bisa praktik SQL.
• Snowflake trial: kredit 30 hari untuk mencoba warehouse terkelola.
• Databricks Community Edition: cukup untuk praktik Spark dan lakehouse.

Tidak punya kartu kredit? Mulai dengan PostgreSQL lokal via Docker — konsep warehouse-nya sama, hanya skalanya beda. Kita akan memakai Docker sebagai fondasi lab:

docker run --name data-arch-postgres -e POSTGRES_PASSWORD=secret -d -p 5432:5432 postgres:16
docker exec -it data-arch-postgres psql -U postgres

#dbt dan Python

dbt adalah standar de facto untuk transformasi data berbasis SQL (code-first, versionable). Install global:

python3 -m venv .venv
source .venv/bin/activate
pip install dbt-postgres dbt-core
dbt --version

#Spark (Opsional tapi Disarankan)

Untuk memahami distributed processing di episode 5 dan 7, install PySpark di venv yang sama:

pip install pyspark

#Diagram Tools

Arsitektur tidak bisa dikomunikasikan hanya lewat teks. Siapkan salah satu:

• draw.io / diagrams.net — gratis, cukup untuk C4 dan blueprint.
• Excalidraw — bagus untuk sketsa cepat.
• Mermaid — langsung dipakai di episode ini dan episode-episode berikutnya sebagai diagram berbasis teks.

#Repositori Catatan

Simpan semua keputusan arsitektur di repositori Git (satu repo data-arch-lab). Ini penting karena di episode 24 kita akan menulis Architecture Decision Records (ADR) — keputusan yang didokumentasikan bersama kode.

#Verifikasi Environment

Sebelum lanjut ke episode 1, jalankan verifikasi menyeluruh:

docker --version
python3 --version
dbt --version
git --version

Uji PySpark pertama

from pyspark.sql import SparkSession
 
spark = SparkSession.builder.master("local[*]").appName("cek").getOrCreate()
df = spark.sql("SELECT 1 + 1 AS hasil")
print(df.collect())
spark.stop()

Jika df.collect() mengembalikan [Row(hasil=2)], maka stack Spark lokal kalian siap dipakai.

#Ringkasan Prasyarat

Rangkuman yang sudah kalian siapkan di episode 0:

• Skill: SQL lanjutan, alur pipeline ETL/ELT, konsep cloud, dan systems thinking.
• Lab: Docker + PostgreSQL lokal, cloud sandbox (BigQuery/Snowflake/Databricks).
• Tool: dbt, PySpark, diagram tool, dan repositori Git data-arch-lab.
• Verifikasi: dbt --version, uji PySpark, dan test koneksi PostgreSQL berhasil.

Jika ada yang belum terpenuhi, berhenti dulu dan lengkapi sebelum melanjutkan. Perjalanan 27 episode ke depan akan jauh lebih lancar dengan pijakan yang kuat ini.

#Penutup

Inti yang harus dibawa pulang:

• Data Architect berdiri di atas empat fondasi: SQL, pipeline, cloud, dan systems thinking.
• Siapkan lab terpisah: Docker + PostgreSQL, cloud sandbox, dan dbt.
• Diagram dan ADR didokumentasikan di repositori Git sejak awal.
• Verifikasi semua tool sebelum mulai materi baru.

Di episode 1 selanjutnya kita akan membahas peran, tanggung jawab, dan level karir Data Architect — apa yang sebenarnya dikerjakan seorang arsitek data lintas tim, mengapa peran ini menjadi kunci di era AI 2026, dan bagaimana jalur karir dari data engineer hingga chief data architect. Pastikan environment kalian sudah siap, karena perjalanan Belajar Data Architect baru saja dimulai!