Belajar Data Engineer - Pre-Requisites Skill & Setup Environment

#Pendahuluan

Selamat datang di series Belajar Data Engineer! Series ini akan membawa kalian dari nol menjadi data engineer yang membangun infrastruktur data production-grade: pipeline ETL/ELT, warehouse & lakehouse, streaming, data quality, governance, sampai AI-ready pipelines. Total ada 28 episode yang tersusun dalam enam fase, dari pre-requisites sampai production readiness.

Mengapa peran ini begitu penting? Karena data engineer adalah fondasi dari seluruh fungsi data. Data analyst dan data scientist tidak bisa bekerja tanpa pipeline yang mengalirkan data mentah menjadi tabel analitik yang bersih dan reliabel. Kalian adalah orang yang membuat janji "data tersedia di waktu yang tepat, dengan kualitas yang bisa dipercaya" menjadi kenyataan.

Episode 0 ini adalah peta jalan. Sebelum menyentuh pipeline pertama, kita harus memastikan dua hal: (1) skill dasar yang wajib kalian kuasai, dan (2) perangkat software yang siap dipakai. Fondasi yang goyah di sini akan membuat 27 episode ke depan terasa berat. Mari mulai.

#Skill Dasar yang Wajib Dimiliki

#SQL

SQL adalah bahasa ibu seorang data engineer. Kalian tidak sekadar menulis SELECT, melainkan memahami bagaimana query dieksekusi: cara kerja index, join, aggregation, dan bagaimana database memutuskan rencana eksekusi. Data engineer menghabiskan sebagian besar waktunya menulis transformasi data — dan hampir semuanya berbentuk SQL atau di-generate dari SQL.

SELECT
    o.customer_id,
    COUNT(*) AS total_orders,
    SUM(o.total_amount) AS total_revenue
FROM orders o
GROUP BY o.customer_id
HAVING COUNT(*) >= 5
ORDER BY total_revenue DESC;

Kalau query di atas terasa asing, berhenti dulu dan pelajari SQL dasar (series learn-sql-postgresql bisa menjadi pijakan). Di episode 3 kita akan membawa SQL ini ke level analitik lanjutan: window functions, CTE, dan index.

#Pemrograman (Python/Java/Scala)

Python adalah bahasa utama ekosistem data modern: pandas, polars, PySpark, Airflow, dbt, semua berdialek Python. Kalian tidak perlu menjadi software engineer murni, tapi wajib paham struktur data, function, error handling, dan membaca dokumentasi. Java/Scala dibutuhkan jika kalian masuk ke dunia JVM (Spark, Kafka, Flink) secara mendalam — tetapi untuk memulai, Python sudah cukup.

#Linux dan CLI

Hampir semua tool data berjalan di Linux server. Kalian wajib nyaman dengan shell: navigasi filesystem, environment variables, pipe, redirect, dan memahami exit code. Orkestrator seperti Airflow dan Dagster di-deploy di Linux; Spark cluster berjalan di Linux; warehouse cloud pun disetting lewat CLI. Tanpa dasar ini, debugging pipeline akan terasa seperti tersesat.

#Konsep Networking dan Storage

Pipeline data selalu berpindah antar mesin: dari database produksi ke warehouse, dari API ke object storage, dari broker ke consumer. Kalian perlu paham apa itu port, hostname, firewall, dan bagaimana data disimpan (block vs object storage, format file seperti CSV/Parquet). Bukan mendalami jaringan seperti network engineer, tapi cukup untuk membaca error koneksi dan membedakan "data tidak sampai" vs "data sampai tapi salah format".

#Perangkat Software yang Disiapkan

#Install Python dan Virtual Environment

Selalu pakai virtual environment agar dependency tiap project terisolasi. Gunakan uv (lebih cepat) atau venv standar:

python3 -m venv ~/de-lab/.venv
source ~/de-lab/.venv/bin/activate
pip install --upgrade pip

#Install library inti data

pip install pandas polars requests psycopg2-binary

Pandas dan polars dipakai untuk transformasi in-memory, requests untuk mengambil data dari API, dan psycopg2-binary sebagai driver PostgreSQL untuk Python.

#Docker dan PostgreSQL

Docker adalah cara paling bersih menjalankan tool data. Untuk PostgreSQL sebagai database lab:

docker run -d \
  --name pg-lab \
  -e POSTGRES_PASSWORD=secret \
  -e POSTGRES_USER=de \
  -e POSTGRES_DB=de_lab \
  -p 5432:5432 \
  postgres:16

psql -h localhost -p 5432 -U de -d de_lab -c "SELECT version();"

Pastikan Docker sudah terinstall dan berjalan (jika belum, pelajari series learn-docker). PostgreSQL di port 5432 akan menjadi database lab kalian untuk episode 3, 4, dan 12.

#Akun Cloud Free Tier

Siapkan akun di minimal satu cloud provider: AWS, GCP, atau Azure. Semua punya free tier yang cukup untuk belajar — misalnya GCP memberikan $300 kredit percobaan dan BigQuery punya kuota gratis bulanan. Akun ini dipakai mulai episode 9 (warehouse cloud) dan episode 17 (lakehouse di cloud).

#Verifikasi Environment

Rangkai semua yang sudah disiapkan menjadi satu skrip uji yang memastikan environment benar-benar siap mengikuti series:

#!/bin/bash
set -e
 
echo "=== 1. Python & library ==="
source ~/de-lab/.venv/bin/activate
python -c "import pandas, polars, requests; print('OK: pandas', pandas.__version__, '| polars', polars.__version__)"
 
echo "=== 2. Docker ==="
docker version --format 'OK: Docker {{.Server.Version}}'
 
echo "=== 3. PostgreSQL ==="
psql -h localhost -p 5432 -U de -d de_lab -c "SELECT 1;" > /dev/null && echo "OK: PostgreSQL reachable"
 
echo "=== 4. CLI cloud ==="
which gcloud aws az || echo "OK: setidaknya satu CLI cloud tersedia"

bash verify-de-setup.sh

Jika semua baris OK tercetak, environment kalian resmi siap. Jika ada yang gagal, perbaiki satu per satu — jangan lanjut sebelum hijau.

#Kesalahan Umum (Common Pitfalls)

1. Melewatkan virtual environment. Menginstall pandas langsung ke Python sistem akan menimbulkan konflik dependency saat nanti menambah PySpark atau dbt. Selalu aktifkan venv/uv.

2. Port PostgreSQL bentrok. Jika sudah ada PostgreSQL lokal, ubah port mapping Docker ke 5433:5432 dan sesuaikan koneksi.

3. Mengabaikan konsep dasar. Melompat langsung ke Spark/Kafka tanpa SQL dan Python yang kuat hanya akan menghasilkan script yang meniru tanpa memahami. Series ini dibangun berurutan — hormati urutannya.

4. Akun cloud tanpa budget alert. Ini adalah cara paling cepat membengkakkan tagihan. Pasang budget alert sejak hari pertama.

#Penutup

Di episode 0 ini kalian telah memastikan tiga fondasi: skill dasar (SQL, Python, Linux, networking & storage), tooling (PostgreSQL di Docker, pandas/polars, Docker, dan akun cloud free tier), serta verifikasi environment lewat verify-de-setup.sh.

Poin yang harus kalian bawa:

• Data engineer adalah fondasi dari seluruh fungsi data — pipeline yang andal adalah produk utamanya.
• Kuasai SQL dan Python terlebih dahulu; Linux dan konsep networking/storage menyusul.
• Semua tool data bisa dijalankan lokal via Docker; akun cloud dipakai untuk episode warehouse & lakehouse.
• Selalu verifikasi environment sebelum memulai: hijau berarti lanjut, merah berarti perbaiki dulu.

Di episode 1 selanjutnya kita akan membahas peran, tanggung jawab, dan ekosistem data: apa bedanya data engineer dengan data analyst dan data scientist, di mana batas tanggung jawabnya, serta bagaimana data lake, warehouse, lakehouse, dan data mesh tersusun dalam ekosistem data modern. Pastikan environment kalian sudah siap, karena perjalanan Belajar Data Engineer baru saja dimulai!