0 views
Read
#0
Belajar Scrapling - Pre-Requisites Skill & Setup Environment
Episode pembuka series Belajar Scrapling: memastikan skill dasar yang wajib dikuasai — Python 3.10+, pip dan venv, HTML/CSS selector, XPath, serta konsep HTTP. Sekaligus menyiapkan Scrapling beserta ekstra opsionalnya, Chromium untuk browser fetcher, dan browser devtools untuk inspeksi selector.
August 3, 2026
00
Read
#1
Belajar Scrapling - Sejarah, Latar Belakang & Mengapa Membutuhkan Scrapling
Menelusuri asal-usul Scrapling: dikembangkan Karim Shoair (D4Vinci) sejak sekitar 2024, tumbuh dari v0.1 ke 0.4.x dengan jutaan download. Memahami frustrasi yang melahirkan library ini dan masalah yang diselesaikannya — parser super cepat, selektor self-healing, dan fetcher stealth.
August 3, 2026
00
Read
#2
Belajar Scrapling - Konsep Dasar & Arsitektur Utama
Memetakan arsitektur Scrapling: modul inti fetchers yang menangani HTTP maupun browser, parser Adaptor berbasis lxml, spider framework, CLI, dan MCP server. Menjelaskan alur kerja lengkap dari fetch HTML, parse dan seleksi elemen, ekstraksi data, hingga crawl lanjutan.
August 3, 2026
00
Read
#3
Belajar Scrapling - Fetcher: Request HTTP & Session
Praktik pertama yang serius: menggunakan Fetcher untuk request HTTP — get dan post, FetcherSession untuk mempertahankan cookie, impersonate chrome untuk TLS fingerprint, serta stealthy_headers. Mengenal respons Adaptor, header, dan pola error handling terhadap status code.
August 3, 2026
00
Read
#4
Belajar Scrapling - Adaptor & Parsing Dasar
Mendalami objek Adaptor: seleksi elemen dengan CSS dan XPath, memahami perbedaan get dan getall, memanfaatkan chaining, serta mengekstraksi teks dan atribut. Menjelaskan manipulasi DOM berbasis lxml — traversal tree dan iterasi elemen — untuk membangun data terstruktur.
August 3, 2026
00
Read
#5
Belajar Scrapling - Selection Methods Lanjutan
Menguasai seleksi di luar CSS dan XPath: find_by_text untuk mencari elemen berdasarkan isi teks, find_by_regex untuk pola teks, pencarian elemen similar dengan seleksi relatif, serta filter berbasis kondisi atribut dan struktur untuk seleksi yang presisi.
August 3, 2026
00
Read
#6
Belajar Scrapling - AsyncFetcher & Concurrency Dasar
Belajar memakai AsyncFetcher untuk fetching paralel dengan asyncio, membatasi konkurensi lewat semaphore, menerapkan rate limiting dan batch request, serta menangani error dengan retry sederhana supaya crawl kalian cepat tapi tetap sopan ke server.
August 3, 2026
00
Read
#7
Belajar Scrapling - PlayWrightFetcher (Dynamic Content)
Menggunakan PlayWrightFetcher untuk merender halaman JavaScript dan SPA, memahami headless mode dan menunggu network idle, mengintegrasikan selektor Playwright dengan wait_selector, serta memilih browser asli versus headless untuk menangani proteksi ringan-sedang.
August 3, 2026
00
Read
#8
Belajar Scrapling - StealthyFetcher (Undetectable Browsing)
Membedah StealthyFetcher: browser automation via Chrome DevTools Protocol dengan anti-deteksi bawaan, memahami kenapa request polos mudah dideteksi, menembus Cloudflare dan Turnstile out-of-the-box lewat solve_cloudflare, serta fitur anti-fingerprint seperti block_webrtc dan hide_canvas.
August 3, 2026
00
Read
#9
Belajar Scrapling - Auto-match & Adaptive Selectors
Mengaktifkan fitur auto_save dan auto_match supaya selektor menyesuaikan diri saat struktur DOM website berubah. Memahami mekanisme self-healing berbasis skor kemiripan elemen, storage SQLite, dan parameter identifier serta automatch_domain untuk pengelolaan lintas domain.
August 3, 2026
00