Belajar Apache Spark - Ecosystem & Resources

#Pendahuluan

Spark tidak berdiri sendirian. Di sekelilingnya tumbuh ekosistem raksasa: open table format, managed services, library tambahan, dan sumber belajar yang membentuk cara kalian bekerja sehari-hari. Episode 21 ini memetakan lanskap tersebut agar kalian tahu apa yang tersedia dan kapan memakainya.

Menguasai ekosistem berarti kalian tidak akan menulis ulang hal yang sudah diselesaikan orang lain. Sebelum membangun solusi sendiri, kalian tahu bahwa Delta Lake sudah menyelesaikan transaksi, EMR sudah menyediakan cluster, dan komunitas sudah menulis tutorial untuk masalah yang sama.

Episode ini membahas empat topik: tooling seperti Delta Lake, Iceberg, Hudi, dan Spark SQL Gateway; managed Spark services; library dan extensions; serta sumber belajar dari komunitas dan dokumentasi resmi.

#Tooling: Delta Lake, Iceberg, Hudi, dan Spark SQL Gateway

#Open Table Format: Delta Lake, Iceberg, Hudi

Ketiganya menyelesaikan masalah yang sama — mengubah data lake menjadi lakehouse — dengan pendekatan berbeda:

• Delta Lake: dikembangkan Databricks, integrasi paling mulus dengan Spark dan SQL MERGE yang nyaman.
• Apache Iceberg: open governance dari komunitas, unggul di hidden partitioning dan interoperabilitas multi-engine.
• Apache Hudi: lahir dari Uber, fokus pada CDC dan incremental processing.

Delta  → transaksi + time travel, dekat dengan Spark/Databricks
Iceberg → tabel yang dapat dipakai banyak engine (Spark, Trino, Flink)
Hudi   → incremental + CDC untuk data yang sering berubah

Pemilihan bergantung pada lingkungan: Databricks cocok dengan Delta, lingkungan multi-engine cocok dengan Iceberg, workload update-heavy cocok dengan Hudi.

#Spark SQL Gateway

Spark SQL Gateway (Thrift Server) memungkinkan tool eksternal mengirim query SQL ke Spark lewat JDBC/ODBC:

/opt/spark/sbin/start-thriftserver.sh --hiveconf hive.server2.thrift.port=10000

Dengan gateway ini, BI tools dan aplikasi lama bisa menjangkau data di Spark tanpa menulis kode Python atau Scala.

#Managed Spark Services

#Databricks

Databricks adalah platform managed yang dibuat oleh pencipta Spark. Keunggulannya: notebook terkelola, Delta Lake terintegrasi, auto-scaling cluster, dan tooling SQL. Biayanya premium, tapi menghemat banyak pekerjaan operasional untuk tim yang besar.

#AWS EMR dan GCP Dataproc

• AWS EMR: layanan cluster Spark (dan Hadoop) di AWS, dihitung per jam, fleksibel untuk ephemeral cluster.
• GCP Dataproc: layanan serupa di Google Cloud, mendukung Spark, Flink, dan Hive, dengan integrasi BigQuery yang kuat.

Databricks → platform lengkap, tim besar, budget cukup
EMR/Dataproc → kontrol penuh, cluster ephemeral, integrasi cloud
Self-managed → pembelajaran maksimal, biaya terendah, kerja operasional tertinggi

#Pertimbangan Memilih

Pertimbangkan: biaya operasional vs biaya platform, kebutuhan kontrol, kedalaman integrasi dengan ekosistem cloud, dan ukuran tim. Untuk belajar, self-managed atau Dataproc/EMR sangat baik; untuk produksi enterprise, Databricks sering menjadi pilihan.

#Library dan Extensions: GraphX, SparkR, dan Pandas API on Spark

#GraphX

GraphX adalah API graph untuk Spark: Graph[R, E] dengan operasi seperti PageRank, connected components, dan triangle counting. Cocok untuk analisis jaringan sosial, deteksi komunitas, dan rekomendasi berbasis graph.

Graph[R, E] → PageRank, ConnectedComponents, TriangleCount

#SparkR

SparkR menghadirkan API Spark untuk pemakai R. DataFrames dan operasi dasar tersedia dengan sintaks yang akrab bagi komunitas R — berguna untuk tim yang dominan R.

#Pandas API on Spark (Koalas)

Pandas API on Spark adalah penerus proyek Koalas: API pandas yang berjalan di atas Spark. Kalian menulis kode yang terlihat seperti pandas, tetapi berjalan terdistribusi:

Pandas API on Spark

import pyspark.pandas as ps
 
df = ps.DataFrame({'nama': ['budi', 'sari'], 'skor': [80, 95]})
print(df.groupby('nama').mean())

ps.DataFrame(...) menciptakan objek yang mengikuti API pandas namun didistribusikan oleh Spark. Ini jembatan yang sangat membantu tim data scientist yang sudah mahir pandas beralih ke skala besar.

#Community Resources dan Official Docs

#Dokumentasi Resmi

Titik acuan yang tidak bisa digantikan:

• Apache Spark official docs: referensi lengkap API, configuration, dan SQL.
• Spark SQL Guide dan Tuning Guide: dasar untuk optimasi yang akurat.
• Structured Streaming Programming Guide: pembahasan menyeluruh streaming.

spark.apache.org/docs     → semua dokumentasi resmi
spark.apache.org/sql      → panduan dan referensi SQL
spark.apache.org/streaming → Structured Streaming guide

#Komunitas dan Blog

• Stack Overflow: tag apache-spark dan pyspark — hampir semua error sudah pernah dijawab.
• Engineering blog: Databricks blog sering membahas fitur baru dan best practices.
• Newsletter dan buku: buku "Spark: The Definitive Guide" dan "Learning Spark" adalah bacaan klasik.
• Meetup dan conference: Spark Summit / Data + AI Summit menyimpan video presentasi gratis.

#Penutup

Episode 21 memetakan dunia di sekitar Spark: open table format memberi pilihan lakehouse, managed services menghemat operasional, library seperti GraphX dan Pandas API on Spark memperluas kemampuan, dan dokumentasi serta komunitas adalah kompas yang menemani kalian terus berkembang.

Inti yang harus dibawa pulang:

• Delta Lake, Iceberg, dan Hudi memecahkan masalah lakehouse dengan gaya berbeda.
• Databricks, EMR, dan Dataproc adalah opsi managed dengan trade-off tersendiri.
• Pandas API on Spark membuat kode pandas berjalan terdistribusi.
• Dokumentasi resmi Spark adalah sumber kebenaran utama.
• Komunitas dan conference menyediakan pembelajaran yang terus berjalan.

Di episode 22 selanjutnya — episode terakhir series ini — kita akan membahas future-proofing Spark skills — menjaga keterampilan tetap relevan di lanskap data engineering yang bergerak cepat, migrasi pola ke lakehouse dan hybrid architectures, kapan berpindah ke Flink, Beam, atau Databricks, serta best practices untuk pipeline yang reusable dan maintainable.