Belajar Pentaho - Jobs & Orchestration

#Pendahuluan

Di episode 4 kalian membuat transformasi tunggal yang mengolah satu aliran data. Di dunia nyata, pekerjaan ETL tidak pernah sesederhana itu: data harus diambil dari beberapa sumber secara berurutan, dimuat setelah proses lain selesai, dan dilaporkan ke tim melalui email. Di sinilah job berperan.

Sebuah job adalah orkestrator. Ia tidak mengolah baris data, melainkan mengatur kapan dan dalam urutan apa transformasi dan langkah lain dijalankan, termasuk apa yang terjadi saat salah satu langkah gagal. Episode ini akan membuat kalian paham cara merancang job yang andal.

#Job vs Transformation: Pembagian Peran

Sebelum membangun job, ingat kembali pembagian peran yang sudah dibahas di episode 2:

• Transformation mengolah data: membaca, mengubah, menulis row stream.
• Job mengelola alur: menjalankan transformation, script shell, transfer file, kirim email, dan mengambil keputusan berdasarkan hasil.

Sebuah job selalu dimulai dari step START dan menjalankan job entry lain secara berurutan atau bersyarat. Bedanya dengan transformation: hop di job tidak membawa data, hanya membawa status success atau failure.

Buat job baru di Spoon lewat File > New > Job. Kalian akan melihat kanvas dengan palet Job entries yang berbeda dari palet step transformation.

#Job Entry Populer yang Harus Dikenal

Beberapa job entry adalah tulang punggung orkestrasi. Kenali dari sekarang:

• START: titik awal eksekusi. Semua job memulainya dari sini.
• Transformation: menjalankan sebuah file .ktr. Ini entry yang paling sering dipakai.
• Job: memanggil job lain secara bersarang (nested job), berguna untuk memecah orkestrasi besar.
• Shell: menjalankan perintah sistem operasi atau script, misalnya memindahkan file dengan mv atau memanggil program eksternal.
• FTP / SFTP: mengunduh atau mengunggah file ke server jarak jauh — umum untuk pertukaran data antar sistem.
• Email: mengirim notifikasi melalui email setelah proses selesai atau gagal.
• Copy/Move files: memindahkan file yang sudah diproses ke folder arsip — kebiasaan penting untuk pipeline yang rapi.
• Success / Failure: menandai hasil akhir job dan menghentikan eksekusi sesuai kondisi.

Rangkaian paling umum: START menuju Transformation pertama, lalu ke transformasi berikutnya, lalu ke Email di akhir. Mari kita susun.

#Merakit Job Pertama

Ikuti langkah berikut untuk merakit job sederhana: ambil data dari CSV, muat ke database, arsipkan file sumber, lalu kirim notifikasi.

1. Tambahkan START di kanvas.
2. Tambahkan job entry Transformation dan arahkan ke file csv_to_db.ktr yang kalian buat di episode 4.
3. Tambahkan job entry Move files untuk memindahkan CSV yang sudah diproses ke folder processed/.
4. Tambahkan job entry Email dengan subjek seperti ETL selesai dan tujuan email tim.
5. Hubungkan dengan hop: START ke Transformation, lalu ke Move files, lalu ke Email.

Penampilannya akan terlihat seperti skema berikut:

START -> csv_to_db.ktr -> Move files -> Email

Sekarang simpan sebagai etl_daily.kjb di folder jobs. Sebelum menjalankan penuh, pelajari dulu cara kontrol alur di bagian berikut.

#Alur Kontrol: Success, Failure, dan Evaluasi

Kekuatan job terletak pada kemampuan mengambil keputusan berdasarkan hasil. Ada beberapa pola yang wajib kalian kuasai:

• Hop success: default — langkah berikutnya hanya dijalankan jika langkah sebelumnya berhasil.
• Hop failure: hop yang dijalankan justru saat langkah gagal, misalnya mengarah ke Email dengan subjek "proses gagal" atau ke Failure.
• Evaluasi: job entry Simple evaluation memeriksa sebuah kondisi (misalnya nilai variabel, hasil query, atau jumlah baris) lalu mengarahkan alur ke jalur benar atau salah.

Pola klasik yang paling sering dipakai di production:

1. Jalankan transformasi.
2. Jika sukses, pindahkan file dan kirim email sukses.
3. Jika gagal, kirim email peringatan dan hentikan job dengan status failure.

Untuk membuat hop failure, klik dan tahan garis dari sebuah entry lalu pilih Fail pada opsi hop. Perhatikan bahwa ikon hop failure berwarna merah, sukses berwarna hijau, dan evaluasi berwarna biru — warna ini membantu kalian membaca desain job dengan cepat.

#Menjalankan Job dengan Kitchen

Sama seperti Pan untuk transformation, Kitchen adalah runner job dari command line. Ini perintah yang akan dipakai jutaan kali di dunia kerja nyata:

kitchen.sh -file=/home/kalian/lab/jobs/etl_daily.kjb

Tambahkan opsi yang berguna: -level=Detailed untuk log lebih rinci, -param:NAMA=value untuk melewatkan parameter, dan -logfile=/path/etl_daily.log untuk menulis log ke file. Logging ke file ini penting karena saat job berjalan otomatis di cron, tidak ada layar untuk membaca output.

#Penjadwalan dengan Cron

Job yang andal harus berjalan otomatis. Di Linux, cara paling sederhana adalah cron. Buka crontab dengan crontab -e lalu tambahkan baris berikut untuk menjalankan job setiap hari pukul 02.00:

0 2 * * * /home/kalian/lab/pdi-ce/kitchen.sh -file=/home/kalian/lab/jobs/etl_daily.kjb -level=Basic -logfile=/var/log/etl_daily.log

Untuk kebutuhan scheduling yang lebih terpusat — dashboard jadwal, retry, notifikasi — episode 10 akan memperkenalkan Pentaho Server dengan Scheduler-nya yang jauh lebih lengkap. Untuk sekarang, cron sudah cukup untuk memahami konsep otomatisasi.

#Penutup

Di episode 5 ini kalian merancang job pertama: mengenal job entry populer seperti START, Transformation, Shell, FTP, dan Email; mengatur alur kontrol sukses, gagal, dan evaluasi; menjalankan job dengan Kitchen; serta menjadwalkannya dengan cron.

Inti yang harus dibawa pulang:

• Job mengorkestrasi langkah; hop di job membawa status sukses/gagal, bukan data.
• START wajib, dan pola "sukses ke langkah berikutnya, gagal ke email peringatan" adalah standar industri.
• Kitchen adalah Pan-nya job — selalulah tulis log ke file saat berjalan otomatis.
• Cron sederhana dan efektif untuk scheduling; Pentaho Server menawarkan pengelolaan lebih lengkap.

Di episode 6, kita masuk ke kualitas data: data quality & transformation patterns — validasi, lookup, cleansing, normalisasi, penanganan missing values, deduplikasi, agregasi, dan pola transformasi yang sehat.