Belajar Data Engineer dari nol hingga production-grade dalam 28 episode: pre-requisites skill & setup environment, peran tanggung jawab & ekosistem data, arsitektur data modern, SQL & database fundamental, data modeling (star schema, SCD), Python untuk data engineering, ETL vs ELT, dbt, batch pipeline & Airflow, data warehouse cloud, data lake & lakehouse (Spark), streaming (Kafka/Flink), data ingestion & CDC (Debezium), orkestrasi lanjutan (Dagster/Prefect), data quality & testing, data governance & lineage, feature store & data versioning, data lakehouse di cloud, security & access control, data privacy & compliance (PII/GDPR), monitoring & alerting, Spark distributed processing, performance & cost optimization (FinOps), real-time analytics (ClickHouse), data mesh & data product, data for AI/ML pipelines, ekosistem & tren 2026, hingga roadmap karir.
Sebelum membangun pipeline data pertama, ada empat fondasi yang wajib dikuasai: SQL, pemrograman Python, Linux/CLI, serta konsep networking & storage. Di episode ini kalian menyiapkan environment lengkap — PostgreSQL, Python dengan pandas & PySpark, Docker, dan akun cloud free tier — lalu memverifikasinya agar siap dipakai sepanjang series

Memahami di mana posisi data engineer dalam organisasi data: apa bedanya dengan data analyst dan data scientist, tanggung jawab inti seputar pipeline, storage, dan reliability, serta peta ekosistem penyimpanan data modern — data lake, warehouse, lakehouse, dan data mesh

Membedah pola arsitektur data modern yang menjadi bahasa bersama industri: medallion architecture bronze-silver-gold, perbandingan Lambda vs Kappa, keputusan batch vs streaming, serta reference architecture data platform lengkap yang dipraktikkan lewat desain arsitektur sederhana

Memperkuat SQL dari sekadar SELECT menjadi alat analitik: memahami perbedaan OLTP vs OLAP, query lanjutan dengan CTE dan window functions, index yang tepat untuk beban analytics, serta praktik memodelkan query untuk kebutuhan analisis di database PostgreSQL

Menguasai seni merancang schema warehouse: star schema dengan fact & dimension tables, perbandingan dengan snowflake schema, serta Slowly Changing Dimensions (SCD) tipe 1-3 untuk menangani perubahan data historis, dilengkapi praktik desain schema warehouse end-to-end

Mengubah Python menjadi alat produksi data engineering: membandingkan pandas vs polars untuk transformasi in-memory, menarik data dari API dengan requests, menulis error handling yang benar, dan menguji kode data dengan pytest agar pipeline tidak rapuh terhadap data aneh

Memahami pergeseran paradigma dari ETL ke ELT: mengapa transformasi pindah ke warehouse, bagaimana tool modern (Airbyte, Fivetran, Stitch) menangani ingestion, peran dbt sebagai transformer, trade-off tiap pilihan, dan praktik membangun pipeline ELT sederhana end-to-end

Mendalami dbt (data build tool) sebagai standar transformation layer: model SQL yang testable dan versionable, dbt test untuk data quality, source freshness, macros untuk eliminasi duplikasi, integrasi version control, dan praktik membangun data mart end-to-end

Membangun orkestrasi batch pipeline dengan Apache Airflow: konsep DAG, task, dan operators, cara scheduling bekerja, penanganan retry & failure, monitoring eksekusi, serta praktik membangun DAG ekstraksi-transformasi-load dari nol sampai berjalan

Mendalami arsitektur data warehouse cloud modern: perbandingan Snowflake, BigQuery, dan Redshift, konsep pemisahan storage & compute, partitioning dan clustering yang benar, serta strategi cost management dan praktik optimasi query di warehouse
