Belajar Data Scientist - Proses Data Science (CRISP-DM)

#Pendahuluan

Setelah di episode 1 kita memahami peran Data Scientist dan konteks pasarnya, pada episode ini kita membangun peta jalan setiap proyek data science. Tanpa proses yang jelas, proyek data science sering berakhir sebagai eksperimen tanpa akhir: model dilatih berulang kali, tujuan bergeser, dan stakeholder kehilangan arah.

CRISP-DM (CRoss-Industry Standard Process for Data Mining) adalah kerangka kerja yang lahir dari konsorsium industri pada akhir 1990-an dan sampai sekarang masih menjadi proses de facto di dunia data science. Mengapa masih relevan di 2026? Karena masalah utamanya tidak berubah: proyek data science gagal bukan karena modelnya, melainkan karena masalahnya salah didefinisikan. CRISP-DM memaksa kalian memikirkan masalah bisnis sebelum menyentuh kode.

#Enam Fase CRISP-DM

CRISP-DM terdiri dari enam fase yang bersifat iteratif — bukan waterfall linear:

Panah putus-putus menunjukkan hal penting: setiap fase bisa mundur. Model yang buruk bisa memaksa kalian kembali ke data preparation; temuan baru di data bisa mengubah pemahaman bisnis. Fleksibilitas inilah yang membuat CRISP-DM tetap relevan.

#1. Business Understanding

Fase paling penting dan paling sering dilompati. Kalian harus menjawab:

• Masalah apa yang ingin dipecahkan? (contoh: menurunkan churn pelanggan)
• Apa metrik kesuksesannya? (contoh: menurunkan churn rate 10% dalam 6 bulan)
• Apa batasan bisnisnya? (biaya, regulasi, timeline)
• Apakah masalah ini benar-benar bisa dipecahkan dengan data?

Dari fase ini lahir data science goals yang terukur. Tanpa ini, kalian hanya membuat model yang tidak pernah dipakai.

#2. Data Understanding

Fase ini menjawab: apakah data yang kita butuhkan ada? Kalian mengumpulkan data, mendeskripsikannya (jumlah baris & kolom, tipe data), mengeksplorasi awal, dan mengecek kualitas. Hasilnya sering mengejutkan: data yang dibutuhkan tidak tercatat, ada missing values besar, atau formatnya tidak konsisten.

import pandas as pd
 
df = pd.read_csv("customer_data.csv")
print(df.shape)
print(df.dtypes)
print(df.isna().sum().sort_values(ascending=False).head(10))

Tiga baris ini adalah awal dari hampir semua proyek: ukuran data, tipe, dan distribusi missing values. Episode 6 akan memperdalam proses ini menjadi EDA penuh.

#3. Data Preparation

Fase paling memakan waktu — praktisi berpengalaman bilang 80% waktu data science ada di sini. Kegiatan yang termasuk:

• Cleaning: menghapus/mengisi missing values, menangani outlier.
• Transformasi: encoding kategorikal, scaling numerik.
• Feature engineering: membuat fitur baru dari data mentah (misal umur dari tanggal lahir).
• Integrasi: menggabungkan beberapa tabel/sumber.

df["age"] = (pd.Timestamp.now() - pd.to_datetime(df["birth_date"])).dt.days // 365
df["income_missing"] = df["income"].isna().astype(int)
df = df.drop_duplicates(subset=["customer_id"])

Keputusan di fase ini — fitur mana dibuat, nilai mana diisi, baris mana dibuang — sangat menentukan performa model. Episode 5 dan 10 akan membahasnya secara mendalam.

#4. Modeling

Di fase ini kalian memilih algoritma, melatih model, dan menyetel parameter. Pertanyaan kuncinya bukan "model apa yang paling canggih?" melainkan "model apa yang paling cocok dengan data & masalah ini?". Aturan praktis: mulai dari model sederhana (baseline), lalu naik bertahap.

Episode 9, 13, dan 25 akan membangun kemampuan ini. Yang perlu diingat sekarang: modeling adalah bagian kecil dari proses — bukan seluruhnya.

#5. Evaluation

Sebelum deployment, model dievaluasi terhadap data yang tidak pernah dilihatnya. Kalian menilai kualitas model secara teknis (accuracy, precision, recall, AUC) dan — yang lebih penting — terhadap business metrics: apakah model benar-benar membantu menurunkan churn, menaikkan penjualan, atau menghemat biaya?

from sklearn.metrics import classification_report
 
print(classification_report(y_test, y_pred))

Episode 11 akan membahas evaluasi secara menyeluruh. Kalau model memenuhi target bisnis, lanjut ke deployment; kalau tidak, kembali ke fase sebelumnya.

#6. Deployment

Model diserahkan ke dunia nyata: API, dashboard, atau laporan terjadwal. Di sinilah kolaborasi dengan data engineer dan ML engineer dimulai. Deployment bukan akhir — model perlu monitoring untuk memastikan performanya tidak menurun seiring waktu (data drift). Episode 24 akan membahasnya.

#Peta Proyek Data Science

Sebelum mulai proyek, buat project map singkat yang menjadi pegangan semua pihak:

PROYEK: Menurunkan churn pelanggan 10% dalam 6 bulan
──────────────────────────────────────────────────────
1. Business   : churn rate naik 15% → target turun ke 13.5%
   Stakeholder: Head of Retention, Product Manager
2. Data       : tabel transaksi (2025-2026), profil customer,
                tiket support, tagihan — dari warehouse
3. Prepare    : merge 4 tabel, isi missing income, encode
                plan_type, buat fitur recency/frequency
4. Modeling   : baseline LogisticRegression → XGBoost
5. Evaluate   : target AUC >= 0.75 + simulasi biaya retain
6. Deploy     : skor churn per minggu → feed ke tim retention,
                monitoring drift setiap bulan

Template di atas bisa dipakai untuk semua proyek di series ini. Kerjakan secara iteratif, dan perbarui peta setiap kali ada temuan baru.

#Pitfall Umum

Beberapa kesalahan yang sering terjadi pada praktisi baru:

#Penutup

Inti yang harus dibawa pulang:

• CRISP-DM punya enam fase iteratif: business understanding, data understanding, data preparation, modeling, evaluation, deployment.
• Business understanding adalah fase terpenting — masalah yang salah definisi menghasilkan model yang tidak berguna.
• Data preparation memakan 80% waktu — jangan diremehkan.
• Model dievaluasi terhadap business metrics, bukan hanya accuracy.
• Buat project map untuk setiap proyek sebagai pegangan tim.

Di episode 3 selanjutnya kita akan masuk ke fondasi matematisnya: statistika & probabilitas — distribusi, uji hipotesis, dan p-value — yang menjadi bahasa evaluasi di semua episode berikutnya. Sampai jumpa di episode 3!