Belajar Data Scientist - Scalable Data Science

#Pendahuluan

Setelah di episode 22 kita membangun solusi LLM, pada episode ini kita menjawab pertanyaan yang pasti muncul saat data tumbuh: "bagaimana jika data tidak muat di satu mesin?". Dataset besar — miliaran baris log, transaksi nasional, streaming telemetri — tidak bisa dimuat ke Pandas. Inilah masalah scalable data science.

Mengapa skill ini penting bagi data scientist? Karena hampir semua perusahaan dengan data besar mengharapkan data scientist yang bisa naik kelas: dari notebook di laptop ke cluster. Kalian tidak harus jadi data engineer — tetapi harus paham cara memakai Spark dan cloud agar analisis yang berjalan di laptop bisa berjalan di skala produksi. Kemampuan ini juga yang sering membedakan level junior dan senior.

#Dari Pandas ke Spark

Spark adalah framework distributed computing paling populer untuk data besar. Konsep intinya: data dipecah ke banyak mesin (partisi) dan diproses paralel.

Perbedaan kunci dengan Pandas:

dtype yang perlu diperhatikan: Spark lazy — operasi baru mencatat rencana eksekusi, dan dijalankan saat ada aksi (.collect(), .count(), .show()). Ini memungkinkan optimasi sebelum eksekusi.

#Praktik: Analisis Dataset Besar dengan PySpark

pip install pyspark

from pyspark.sql import SparkSession
from pyspark.sql.functions import sum as spark_sum
 
spark = SparkSession.builder.appName("sales-analysis").getOrCreate()
 
df = spark.read.parquet("s3://bucket/transactions/*.parquet")
print("partisi:", df.rdd.getNumPartitions())
 
result = (df
    .filter(df["date"] >= "2026-01-01")
    .groupBy("store_id", "product_id")
    .agg(spark_sum("amount").alias("revenue"))
    .orderBy("revenue", ascending=False))
 
result.show(10)

Perhatikan perbedaan gaya dengan Pandas: filter → groupBy → agg → orderBy dirangkai sebagai rencana, dan show() mengeksekusinya. Dataset yang tidak muat di RAM laptop tetap bisa diagregasi karena tiap partisi diproses terpisah.

#Sampling untuk Eksplorasi

Pada skala besar, jangan eksplorasi seluruh data di awal — sampling adalah praktik standar:

sample = df.sample(fraction=0.01, seed=42)
sample_pd = sample.toPandas()   # aman: hanya 1% data
 
print(sample_pd["store_id"].nunique())

toPandas() hanya dibenarkan pada data kecil (sampling/hasil agregat) — mengumpulkan miliaran baris ke driver akan mematikan kluster. Pola yang benar: agregasi di Spark, hasil kecil dibawa ke Pandas.

#Cloud ML

Perusahaan besar menjalankan data science di cloud. Tiga platform utama:

Alur cloud ML modern (pola umum di semua platform):

Data di data lake (S3/GCS/ADLS)
   → Fitur pipeline (Spark / serverless)
   → Training (managed notebook / training job)
   → Registry & tracking (MLflow — episode 12)
   → Serving (API managed, autoscale)
   → Monitoring (drift & quality)

Yang perlu diingat: prinsipnya sama dengan yang sudah kalian pelajari — tracking, registry, dan monitoring hanya berpindah tempat. Skill yang kalian bawa (Python, SQL, MLflow, model card) berlaku lintas platform.

#Distributed Compute: Prinsip & Kapan Dipakai

Distributed computing bukan jawaban untuk semua masalah. Keputusan skalanya:

Aturan praktis: mulai dari yang paling sederhana. Memakai Spark untuk data 500 MB justru menambah overhead. Naik kelas hanya saat (1) data tidak muat, (2) query terlalu lambat, atau (3) kebutuhan terdistribusi.

#Kesalahan Umum

#Penutup

Inti yang harus dibawa pulang:

• Spark membagi data ke partisi & memproses paralel; PySpark mirip Pandas tetapi lazy & terdistribusi.
• Skala naik bertahap: Pandas → Polars/Dask → Spark — bukan selalu Spark.
• Sampling & agregasi di kluster, hasil kecil di Pandas — pola aman standar.
• Cloud ML (AWS/GCP/Azure) menerapkan prinsip yang sudah kalian kuasai: tracking, registry, monitoring.
• Distributed compute hanya dipakai saat benar-benar dibutuhkan.

Di episode 24 selanjutnya kita akan membahas production ML integration — kolaborasi dengan ML engineer, deployment, dan monitoring dasar model di dunia nyata. Sampai jumpa di episode 24!