Belajar Data Scientist - AI-Integrated Data Science

#Pendahuluan

Setelah di episode 20 kita membangun governance, pada episode ini kita masuk ke jantung tren 2026: AI-integrated data science. Seperti yang dibahas di episode 1, AI kini menjadi bagian inti peran — dan episode ini membahas bagaimana LLM (large language models) mengubah cara data scientist bekerja, bukan menggantikannya.

Mengapa harus dipelajari? Karena AI mengotomatiskan pekerjaan repetitif — menulis boilerplate, merangkum data, menyusun kode eksplorasi — dan membebaskan data scientist untuk fokus pada yang bernilai tinggi: memilih pertanyaan, mengevaluasi metode, dan memvalidasi hasil. Data scientist yang memakai AI bekerja beberapa kali lebih cepat; yang tidak, akan tertinggal. Namun dengan syarat besar: AI mempercepat, manusia memvalidasi.

#Di Mana AI Masuk ke Alur Data Science

Peta integrasi AI di sepanjang CRISP-DM (episode 2):

Pola utamanya: LLM mempercepat setiap fase, tetapi keputusan dan validasi tetap di tangan kalian — semua yang kalian pelajari di episode 2-20 justru menjadi kunci untuk menilai output AI.

#AI-Assisted EDA

Salah satu kegunaan paling nyata: profil data otomatis. Library ydata-profiling membuat laporan EDA lengkap dalam satu baris — dan AI bisa menambahkan narasi di atasnya.

pip install ydata-profiling

import pandas as pd
from ydata_profiling import ProfileReport
 
df = pd.read_csv("telco_churn.csv")
profile = ProfileReport(df, title="Profil Data Churn", minimal=False)
profile.to_file("churn_profile.html")

Buka HTML-nya: kalian mendapat distribusi, missing values, korelasi, dan deteksi outlier dalam hitungan detik. Ini bukan pengganti EDA manual (episode 6) — tetapi titik awal yang membuat eksplorasi manual jauh lebih tajam, karena kalian sudah tahu keanehan mana yang perlu diselidiki.

#Praktik: AI Workflow Bahasa Alami

Mari bangun alur kerja: pertanyaan bahasa alami → kode → eksekusi → jawaban. Pola ini, di 2026, sudah disediakan banyak tool agentic (dibahas di bawah), dan prinsipnya mudah ditiru:

import pandas as pd
 
df = pd.read_csv("telco_churn.csv")
 
# 1. LLM menghasilkan kode analisis dari pertanyaan
#    "Hitung rata-rata monthly_charges per contract type"
draft_code = """
result = df.groupby("contract")["monthly_charges"].mean()
print(result.round(2))
"""
 
# 2. Manusia meninjau kode sebelum dieksekusi
#    (VERIFIKASI — jangan pernah eksekusi kode tanpa review)
 
# 3. Eksekusi di lingkungan aman (sandbox / tool agent)
exec(draft_code)

Tiga aturan penting di alur ini:

1. Kode AI selalu direview — LLM bisa menghasilkan kode salah atau berbahaya.
2. Eksekusi di lingkungan terisolasi — jangan jalankan kode AI langsung di produksi dengan akses penuh.
3. Hasil divalidasi terhadap domain — angka yang dihasilkan harus masuk akal secara bisnis.

#Agentic Analytics

Agentic analytics adalah evolusi berikutnya: agen AI yang tidak hanya menjawab pertanyaan, tetapi menjalankan langkah-langkah bertahap — menulis query, menganalisis hasil, memutuskan langkah berikutnya — sampai pertanyaan terjawab. Di 2026 pola ini sudah menjadi fitur utama banyak platform BI & analytics.

Pengguna: "Segmen mana yang paling terpukul churn?"
 
Agent:
  step 1 → query data churn per segmen (SQL)
  step 2 → hitung churn rate per segmen
  step 3 → identifikasi segmen tertinggi + konteks
  step 4 → rangkum temuan + saran action
  step 5 → (kembali ke pengguna) "Segmen X naik 2x, berikut saran…"

Keunggulan: pertanyaan eksploratif yang dulu butuh beberapa jam kini berjalan dalam menit. Risikonya: agen bisa salah menafsirkan skema data atau membuat kesimpulan keliru. Karena itu semantic layer menjadi kunci — lapisan yang mendefinisikan makna metrik secara eksplisit.

#Semantic Layers

Semantic layer adalah definisi terpusat tentang makna data: apa itu "active user", bagaimana "revenue" dihitung, metrik mana yang resmi. Ketika agen AI menjawab pertanyaan, ia memakai definisi ini — sehingga jawaban konsisten dengan definisi bisnis, bukan interpretasi bebas.

Tanpa semantic layer: agen bebas menginterpretasi "churn" per kolom
Dengan semantic layer:  agen memakai definisi resmi "churn = tidak
                        transaksi 90 hari + tidak komplain"

Bagi data scientist, semantic layer berarti: definisi metrik didokumentasikan dan jadi satu-satunya sumber kebenaran. Insight yang kalian bangun di episode 6-17 menjadi lebih kuat karena semuanya merujuk definisi yang sama.

#Kesalahan Umum

#Penutup

Inti yang harus dibawa pulang:

• AI mengotomatiskan pekerjaan repetitif di setiap fase CRISP-DM — tetapi validasi tetap tugas kalian.
• AI-assisted EDA (profil otomatis) mempercepat eksplorasi; manual tetap dibutuhkan untuk konteks.
• Agentic analytics menjalankan pertanyaan bertahap; hasilnya butuh semantic layer agar konsisten.
• Semantic layer = definisi metrik terpusat, sumber kebenaran untuk AI dan manusia.
• Aturan emas: AI mempercepat, manusia memvalidasi; jangan pernah eksekusi kode AI tanpa review.

Di episode 22 selanjutnya kita akan membahas LLM & GenAI untuk data — fine-tuning, RAG, dan text analytics lanjutan — untuk membangun pipeline yang memakai model bahasa sebagai mesin analisisnya. Sampai jumpa di episode 22!