Belajar Pentaho - Big Data Integration

#Pendahuluan

Data tidak lagi hanya di database relasional. Volume besar kini bermukim di Hadoop, cloud data lake, dan platform streaming. Episode 17 membahas big data integration — bagaimana Pentaho bekerja dalam ekosistem itu.

Kalian akan belajar integrasi dengan Hadoop dan Spark, memahami format file kolom seperti Parquet, Avro, dan ORC, menerapkan pola ingestion mendekati real-time, serta melihat posisi Pentaho dalam arsitektur data lakehouse modern.

#Pentaho dan Ekosistem Hadoop

PDI berbicara dengan ekosistem Hadoop lewat Pentaho Big Data plugin. Kemampuan utamanya:

• Membaca dan menulis ke HDFS (Hadoop Distributed File System) sebagai source dan target.
• Berinteraksi dengan layanan Hadoop: Hive, HBase, dan Spark.
• Menjalankan transformasi sebagai pekerjaan di cluster.

Dua pola yang paling umum dipakai:

• ELT dengan Hive/Spark: PDI mengatur orkestrasi, sementara transformasi berat dieksekusi di mesin big data. PDI tidak menarik data besar ke dirinya sendiri.
• Penulisan file terformat: PDI menulis data ke format kolom yang efisien untuk dibaca mesin analitik.

Prinsip penting: jangan tarik jutaan baris dari cluster ke mesin PDI. Biarkan beban berat dijalankan di tempat data berada.

#Memahami Format File: Parquet, Avro, dan ORC

CSV sederhana tapi boros: tidak punya skema, tidak terkompresi, dan lambat dibaca. Untuk big data, tiga format modern yang wajib kalian kenali:

Ketiganya menyimpan skema bersama data, sehingga tidak ada file terpisah yang harus dijaga sinkron. Di PDI, menulis ke format ini biasanya lewat Pentaho Big Data plugin atau dengan memanfaatkan Spark execution engine untuk konversi.

#Memilih Format untuk Pekerjaan Kalian

Aturan praktis pemilihan: kalau workload-nya scan kolom untuk analitik (hitung rata-rata, filter tanggal), Parquet atau ORC jauh lebih efisien karena hanya kolom yang diperlukan yang dibaca dari disk. Kalau workload-nya pipeline event yang membaca seluruh baris satu per satu, Avro lebih alami karena orientasinya baris dan mendukung evolusi skema. Banyak lakehouse modern mengadopsi Parquet sebagai standar de facto — jadi keterampilan membaca dan menulis Parquet adalah bekal yang hampir selalu terpakai.

Berikut gambaran konfigurasi yang perlu disiapkan saat bekerja dengan Hadoop di PDI — file properti yang mengarahkan ke klaster kalian:

pentaho.hadoop.configurations.path=/home/kalian/hadoop-config
pentaho.authentication.default.application.id=guest

Nilai di atas adalah placeholder — sesuaikan dengan klaster kalian. Untuk lab tanpa klaster nyata, banyak tim memakai MiniCluster atau Spark standalone untuk berlatih.

#HDFS sebagai Source dan Target

Di PDI, step yang bekerja dengan HDFS mengikuti pola yang sama seperti step file biasa: Hadoop File Input dan Hadoop File Output menggantikan Text file input/output ketika targetnya adalah sistem file terdistribusi. Yang perlu kalian pahami sejak awal adalah perbedaan namenode dan datanode: namenode menyimpan metadata dan alamat file, sedangkan datanode menyimpan data sebenarnya. Konfigurasi salah pada alamat namenode adalah penyebab paling umum kegagalan koneksi HDFS yang membingungkan pemula — jadi periksa nilai ini lebih dulu ketika koneksi gagal tanpa alasan yang jelas. Untuk memverifikasi akses dari command line, coba hdfs dfs -ls / sebelum mengandalkan konektor di PDI.

Bagi kalian yang belum pernah menyentuh ekosistem Hadoop, jangan khawatir dengan banyaknya istilah. Untuk pemakaian lewat PDI, kalian cukup mengenali empat konsep: HDFS sebagai tempat file, Hive sebagai antarmuka tabel SQL, HBase sebagai penyimpanan kolom, dan Spark sebagai mesin komputasi. PDI menghubungkan ke semuanya, dan keterampilan memilih format file yang tepat (bagian sebelumnya) akan lebih sering dipakai daripada memahami detail internal masing-masing komponen.

#Streaming Ingestion dan Near Real-Time ETL

Siklus batch harian tidak selalu cukup. Untuk kebutuhan mendekati real-time, pola yang dipakai:

• Ingestion berbasis file: pantau folder tempat sistem lain menaruh file, lalu proses segera saat file muncul. Di PDI, pola ini dilakukan lewat job yang berjalan periodik dan step File exists atau Get file names.
• Message queue: konsumsi event dari Kafka atau MQ sebagai sumber. PDI punya konektor untuk sistem message, dan pola ini digabung dengan pemrosesan batch kecil yang sering.
• Eksekusi periodik singkat: jalankan job setiap 5 menit (bukan harian), memproses data yang masuk sejak run terakhir.

Ini bukan true streaming seperti Kafka Streams, tapi micro-batch — dan cukup untuk mayoritas kebutuhan operasional. Contoh menjalankan job ingestion dengan interval pendek lewat cron:

*/5 * * * * /home/kalian/lab/pdi-ce/kitchen.sh -file=/home/kalian/lab/jobs/ingest_orders.kjb -level=Basic

Perhatikan pola di atas: cron memicu Kitchen setiap lima menit. Dengan desain idempoten (episode 7), micro-batch aman dijalankan ulang tanpa menggandakan data.

Perhatikan juga cara menghindari tumpang tindih eksekusi: jika proses ingestion lebih lama dari interval jadwal, dua run bisa berjalan bersamaan dan saling mengganggu. Solusi sederhananya — kunci job entry Locked atau cek proses Kitchen yang masih berjalan sebelum memulai run baru. Ini masalah operasional yang sering muncul di micro-batch dan jarang dibahas di tutorial.

#Data Lakehouse dan Posisi Pentaho

Data lakehouse menggabungkan fleksibilitas data lake (menampung format apa pun, biaya rendah) dengan keandalan data warehouse (skema, transaksi, kualitas). Dalam arsitektur ini:

• Pentaho bisa bertindak sebagai orchestrator dan transformer: menyiapkan data dari berbagai sumber, menulis ke tabel lakehouse dalam format kolom.
• Posisinya sering sebagai data mover: memindahkan data antar lapisan — landing zone, curated zone, sampai lapisan siap-analisis.
• Kombinasi dengan mesin seperti Spark menjadikan transformasi berat berjalan di lakehouse, bukan di mesin PDI.

Bagi kalian, pemahaman terpenting bukan di katalog produk, melainkan pola: dari sumber apa pun, data melewati raw → processed → analytics-ready, dan Pentaho bertanggung jawab menjaga kualitas serta jadwal di setiap perpindahan lapisan.

#Penutup

Di episode 17 ini kalian memahami big data integration: integrasi Pentaho dengan Hadoop, Spark, dan data lake cloud; perbedaan format Parquet, Avro, dan ORC; pola streaming ingestion dan near real-time; serta posisi Pentaho dalam arsitektur data lakehouse.

Inti yang harus dibawa pulang:

• Jangan tarik data besar ke PDI — biarkan transformasi berat berjalan di tempat data berada.
• Parquet, Avro, dan ORC mengungguli CSV untuk volume besar; skema ikut tersimpan bersama data.
• Micro-batch dengan jadwal pendek memenuhi mayoritas kebutuhan near real-time.
• Pola ETL yang sehat tetap berlaku di big data; yang berubah adalah mesin dan formatnya.

Di episode 18, kita masuk ke dunia analitik: analytics & machine learning workflow — menyiapkan pipeline data untuk analisis, mengintegrasikan R, Python, dan Weka untuk machine learning, membangun alur data prediktif, serta memvisualisasikan hasil dan output model.