Belajar Data Analyst - EDA & Feature Understanding

#Pendahuluan

Data di episode 7 sudah bersih. Sekarang saatnya membiarkan data berbicara. EDA (exploratory data analysis) adalah proses menyelidiki data untuk menemukan pola, anomali, dan hubungan sebelum menarik kesimpulan formal. Ia adalah jantung pekerjaan analis: di sinilah insight ditemukan — bukan di dashboard, bukan di presentasi.

Episode ini membangun EDA terstruktur: mulai dari analisis univariat (satu variabel), lalu bivariat (dua variabel), korelasi, hingga menyusun laporan EDA singkat. Tujuannya bukan sekadar tahu fungsi pandas, melainkan punya kerangka berpikir yang sama untuk dataset apa pun.

#Univariate Analysis: Mengenal Tiap Kolom

Analisis univariat meneliti satu variabel sekaligus. Untuk variabel numerik, kita melihat distribusi dan ringkasan statistik:

Analisis univariat numerik

import pandas as pd
 
df = pd.read_csv("purchase_clean.csv")
 
print(df["harga"].describe())
print("skew:", df["harga"].skew().round(2))

Untuk variabel kategorikal, kita melihat frekuensi dan proporsi:

Analisis univariat kategorikal

print(df["product"].value_counts())
print(df["product"].value_counts(normalize=True).round(3) * 100)

Dua pertanyaan yang selalu dijawab analisis univariat: seperti apa sebarannya? dan apakah ada anomali? Anomali bisa berupa nilai yang tidak masuk akal, kategori yang hampir kosong, atau distribusi yang mencurigakan.

#Distribusi: Jenis dan Cara Membacanya

Setiap kolom punya cerita yang terbaca dari bentuk distribusinya:

Distribusi bimodal sering menjadi petunjuk emas: jika harga berbimodal, kemungkinan bisnis menjual dua tipe produk yang sangat berbeda (consumer vs enterprise). Mengecek distribusi bukan formalitas — ia adalah pemburu insight.

#Bivariate Analysis: Hubungan Antar Dua Variabel

Analisis bivariat mencari hubungan dua variabel. Untuk dua variabel numerik, gunakan scatter dan korelasi:

Korelasi dua variabel numerik

print(df["harga"].corr(df["quantity"]))

Untuk numerik vs kategorikal, bandingkan distribusi antar kategori:

Ringkasan per kategori

df.groupby("product")["harga"].agg(["mean", "median", "count"])

Untuk dua variabel kategorikal, gunakan contingency table (crosstab):

Crosstab dua kategorikal

pd.crosstab(df["product"], df["status"], normalize="index").round(2)

Crosstab menjawab pertanyaan seperti "produk mana yang paling mungkin di-refund?" — pola yang tidak terlihat jika melihat tiap kolom terpisah.

#Korelasi: Kekuatan Hubungan Linear

Korelasi Pearson mengukur hubungan linear antara dua variabel, bernilai dari -1 sampai 1:

Matriks korelasi beberapa kolom

print(df[["harga", "quantity", "total"]].corr().round(2))

Tiga peringatan penting tentang korelasi:

1. Korelasi ≠ kausalitas. Harga dan quantity bisa berkorelasi tanpa salah satu menyebabkan yang lain.
2. Hanya menangkap hubungan linear. Hubungan parabola atau eksponensial bisa lolos.
3. Sensitif terhadap outlier. Satu titik ekstrem bisa menggandakan nilai korelasi.

#Multivariate: Melihat Gambar Utuh

Ketika dua variabel tidak cukup, tambahkan dimensi ketiga:

Pola tiga dimensi dengan groupby

df.groupby(["product", "status"])["harga"].agg(["mean", "count"]).round(2)

Pola yang tidak terlihat dalam dua dimensi sering muncul saat dimensi ketiga ditambahkan — misal: "harga rata-rata per produk sebenarnya wajar, tetapi produk A dengan status refund mendominasi nilai ekstrem." Inilah yang membedakan eksplorasi permukaan dari analisis sungguhan.

#Menyusun Laporan EDA Singkat

Laporan EDA yang baik tidak menceritakan semua yang kalian lihat — ia menyoroti yang penting. Struktur standar:

1. Ringkasan Eksekutif  — 2-3 kalimat: apa temuan utama
2. Data & Kualitas      — ukuran, kolom, isu yang ditemukan & ditangani
3. Temuan Utama         — 3-5 insight terkuat (masing-masing 1 paragraf)
4. Risiko & Batasan     — apa yang tidak bisa disimpulkan dari data ini
5. Pertanyaan Lanjutan  — hipotesis yang pantas ditindaklanjuti

Contoh temuan yang ditulis dengan baik: "Rata-rata harga order naik 40% sejak Q3, tetapi median hampir tidak berubah — kenaikan didorong segelintir order enterprise, bukan perubahan harga rata-rata pelanggan." Kalimat ini menyampaikan insight, bukti, dan nuansa sekaligus.

#Kesalahan Umum

• Langsung korelasi tanpa univariat. Korelasi palsu lebih mudah tertangkap jika distribusi tiap kolom sudah dipahami.
• Melaporkan semua angka. Laporan EDA dengan 50 insight sama dengan tidak ada insight.
• Menganggap korelasi sebagai kausalitas. Selalu tulis "berkorelasi", bukan "menyebabkan".
• Menyembunyikan batasan data. Kalau sampel kecil atau data hanya 2 bulan, katakan di laporan.

#Penutup

Inti yang harus dibawa pulang:

• EDA terstruktur: univariat → bivariat → multivariate.
• Distribusi tiap kolom adalah pemburu insight (bimodal = dua segmen).
• Korelasi mengukur hubungan linear; jangan diterjemahkan sebagai kausalitas.
• Laporan EDA singkat: ringkasan eksekutif, kualitas data, 3-5 temuan, batasan, pertanyaan lanjutan.

Di episode 9 selanjutnya kita akan memvisualisasikan temuan-temuan EDA ini — matplotlib dan seaborn untuk line, bar, scatter, histogram, dan heatmap, plus prinsip-prinsip chart dan cara menghindari visualisasi yang menyesatkan. Data sudah berbicara; sekarang kita ajarkan data untuk bercerita!