Belajar Scrapling - Pre-Requisites Skill & Setup Environment

#Pendahuluan

Selamat datang di series Belajar Scrapling! Selama 23 episode ke depan kita akan membongkar Scrapling — library Python untuk web scraping yang cepat, adaptif, dan tahan anti-bot — mulai dari setup environment sampai teknik production-grade.

Episode 0 ini murni fondasi. Tujuannya satu: memastikan skill dan environment kalian siap sebelum berpraktik. Kita tidak akan membahas teori Scrapling di sini; kita memastikan semuanya terpasang dan berfungsi. Materi teknis yang sesungguhnya dimulai di episode 1.

#Skill Python yang Wajib Dimiliki

Scrapling butuh Python 3.10 atau lebih baru. Kenapa 3.10? Karena library ini memanfaatkan fitur sintaks dan typing modern yang hanya tersedia di versi tersebut ke atas. Verifikasi versi kalian dengan:

python --version
pip --version

Jika keluaran menunjukkan versi di bawah 3.10, upgrade dulu lewat installer resmi Python atau package manager OS kalian. Selain versi, pastikan kalian nyaman dengan konsep berikut:

• pip untuk instalasi package dan venv untuk virtual environment terisolasi.
• async/await dasar, karena episode 6 akan memakai AsyncFetcher.
• Struktur data sederhana: list, dictionary, dan tuple.

Belum perlu mahir semuanya — cukup kenal agar tidak kaget saat kita menulis kode di episode 3 dan 4.

#Dasar HTML, CSS Selector, dan XPath

Scrapling memilih elemen di halaman web, jadi kalian harus paham tiga hal ini. Pertama, struktur HTML: tahu apa itu tag, atribut, dan elemen bersarang. Kedua, CSS selector: cara menunjuk elemen seperti div.article, #main, atau a[href^="https"]. Ketiga, XPath: cara menunjuk elemen berdasarkan posisi di pohon dokumen, misalnya //article//h2/text().

Kalian tidak perlu hafal semua sintaks. Yang penting paham bedanya CSS selector (ringkas, berbasis class/id) dengan XPath (ekspresif, bisa menelusuri teks dan relasi antar elemen). Scrapling mendukung keduanya lewat .css() dan .xpath() yang akan kita pelajari di episode 4 dan 5.

#Konsep HTTP yang Perlu Diketahui

Web scraping pada dasarnya adalah berbicara HTTP dengan situs web. Minimal pahami tiga hal ini:

• Status code: 200 berarti sukses, 301/302 redirect, 403 diblokir, 404 tidak ditemukan, 429 kena rate limit.
• Headers: User-Agent, Accept, Referer, dan Cookie menentukan bagaimana server "melihat" request kalian.
• Session: hubungan yang menjaga cookie dan koneksi tetap hidup antar request, penting saat login atau browsing bertahap.

Scrapling mengelola semua ini secara terprogram — misalnya parameter impersonate yang menyamarkan TLS fingerprint — tapi kalian perlu paham apa yang terjadi di belakangnya agar tidak tersesat saat debugging. Episode 3 membahas HTTP dan session secara mendalam.

#Menyiapkan Virtual Environment

Praktik terbaik instalasi Python apa pun: bungkus dalam virtual environment agar tidak mengotori package global. Buat dan aktifkan environment kalian:

python -m venv scrapling-env
source scrapling-env/bin/activate

Di Windows, aktivasi memakai scrapling-env\Scripts\activate. Begitu prompt menunjukkan nama environment, kalian sudah aman. Setiap command pip dari sini masuk ke environment ini, bukan ke sistem.

#Instalasi Scrapling dan Ekstra Opsional

Instal Scrapling dengan perintah berikut:

pip install scrapling

Dengan instalasi dasar ini, Fetcher, AsyncFetcher, dan Adaptor sudah siap dipakai. Untuk fitur yang lebih spesifik, Scrapling punya ekstra opsional:

• scrapling[fetchers] — menambah StealthyFetcher dan PlayWrightFetcher yang butuh browser.
• scrapling[ai] — integrasi LLM untuk ekstraksi cerdas (episode 19).
• scrapling[shell] — shell interaktif untuk eksplorasi cepat (episode 21).
• scrapling[all] — semuanya sekaligus.

Untuk series ini, pasang versi lengkapnya langsung agar tidak bolak-balik:

pip install scrapling[all]

Verifikasi instalasi dengan mencetak versi:

cek-versi.py

import scrapling
 
print(scrapling.__version__)

Jalankan dengan python cek-versi.py. Jika muncul nomor versi, instalasi sukses.

#Chromium untuk StealthyFetcher dan PlayWrightFetcher

StealthyFetcher dan PlayWrightFetcher bekerja dengan mengendalikan browser sungguhan — bukan sekadar HTTP request. Mereka membutuhkan Chromium atau Chrome. Ketika pertama kali memakai fetcher browser, Scrapling akan mencoba men-download Chromium otomatis. Kalian juga bisa menyiapkan manual:

python -m playwright install chromium

Menggunakan browser sungguhan penting saat target website dirender oleh JavaScript atau dilindungi anti-bot. Kalian akan merasakan bedanya mulai episode 7 dan 8.

#Browser DevTools untuk Inspeksi Selector

Tools terakhir yang wajib disiapkan: browser devtools. Buka situs target, klik kanan elemen yang ingin di-scrape, lalu pilih Inspect. Dari panel Elements kalian bisa:

• Melihat struktur HTML dan atribut elemen secara langsung.
• Copy selector CSS atau XPath melalui menu konteks.
• Mengecek class, id, dan data atribut yang dipakai selektor.

Devtools adalah sumber kebenaran saat selector kalian gagal. Ketika .css(".price") tidak mengembalikan apa-apa, langkah pertama yang harus dilakukan adalah membuka devtools dan memastikan struktur DOM yang sebenarnya. Kebiasaan ini akan menyelamatkan kalian berkali-kali sepanjang series.

#Verifikasi Setup

Sebelum lanjut, pastikan empat hal ini berfungsi:

• python --version mengeluarkan versi 3.10 atau lebih baru.
• Virtual environment aktif dan pip install scrapling[all] sukses.
• import scrapling dan cetak __version__ berhasil.
• Browser Chromium terpasang, minimal untuk dipakai StealthyFetcher dan PlayWrightFetcher.

Jika semua hijau, environment kalian resmi siap untuk perjalanan.

#Penutup

Episode 0 selesai. Inilah yang wajib kalian bawa pulang:

• Kuasai dasar Python 3.10+, HTML/CSS selector, XPath, dan konsep HTTP.
• Selalu pakai virtual environment untuk mengisolasi dependency.
• Instal scrapling[all] agar semua fetcher dan fitur tersedia.
• Siapkan Chromium untuk browser fetcher di episode 7 dan 8.
• Biasakan memakai browser devtools untuk memverifikasi selector.

Selanjutnya, di episode 1 kita menjawab pertanyaan terpenting sebelum menulis kode: dari mana Scrapling lahir, siapa pembuatnya, dan mengapa kita membutuhkannya dibanding BeautifulSoup atau Scrapy. Sampai jumpa!