Belajar Apache Flink - Sejarah, Latar Belakang & Mengapa Memilih Flink

#Pendahuluan

Episode 0 sudah memastikan environment kalian siap. Sekarang saatnya memahami mengapa Flink ada. Episode 1 ini menjawab tiga pertanyaan besar: dari mana Apache Flink berasal, bagaimana posisinya di ekosistem big data, dan mengapa kalian — sebagai engineer data atau backend yang membangun sistem real-time — membutuhkannya.

Banyak orang mulai memakai Flink karena tutorial, padahal memahami latar belakangnya jauh lebih berharga. Dengan tahu masalah yang diselesaikan, kalian akan lebih mudah memutuskan kapan memakai Flink, kapan tidak, dan bagaimana memposisikannya dalam arsitektur. Mari kita mulai dari awal cerita.

#Evolusi dari Batch ke Real-time

#Era Batch Processing

Dunia data processing dimulai dari batch. Pada era Hadoop (awal 2010-an), data yang mengalir disimpan dulu, lalu diproses secara berkala — harian, per jam, atau per menit. Model MapReduce dan Spark Batch bekerja dalam siklus: baca, proses, tulis, selesai. Pendekatan ini andal dan sederhana, tetapi memiliki latency tinggi: keputusan dibuat berdasarkan data yang mungkin sudah berumur menit hingga jam.

#Munculnya Kebutuhan Real-time

Ketika bisnis mulai menuntut respons seketika — deteksi fraud saat transaksi terjadi, rekomendasi saat pengguna berinteraksi, monitoring infrastruktur secara langsung — paradigma batch mulai janggal. Data harus diproses segera saat tiba, tanpa menunggu batch berikutnya. Dari sinilah stream processing lahir, dan Apache Flink adalah salah satu pelopornya.

batch → micro-batch → stream processing → stateful stream processing

Perintah ini menggambarkan lompatan yang ingin kita pahami: dari memproses data secara berkala menjadi memproses data sebagai aliran yang tak pernah berhenti, sambil tetap menyimpan state untuk komputasi yang bergantung pada riwayat.

#Sejarah Apache Flink

#Dari Proyek Riset Stratosphere

Apache Flink lahir dari proyek riset Stratosphere yang dikembangkan di TU Berlin sekitar tahun 2010-2014. Berbeda dengan proyek lain yang lahir dari kebutuhan industri, Stratosphere berakar pada riset akademik tentang distributed query processing dan dataflow — dan dari sinilah muncul inovasi yang menjadi DNA Flink sampai sekarang: true streaming engine berbasis pipelined execution, bukan micro-batch.

Pada 2014, proyek ini didonasikan ke Apache Software Foundation sebagai inkubator, dan resmi berganti nama menjadi Apache Flink. Nama Flink sendiri, dalam bahasa Jerman, berarti tangkas atau gesit — menggambarkan pendekatan yang cepat dan fleksibel.

#Milestone Penting

Perjalanan Flink dari inkubator hingga menjadi salah satu engine stream processing paling mapan bisa diringkas dalam tabel berikut:

Salah satu inovasi yang membedakan Flink sejak awal adalah pipelined streaming — data mengalir antar operator tanpa harus menunggu batch selesai. Konsep ini yang memungkinkan Flink memberikan latency milidetik, sesuatu yang sulit dicapai engine berbasis micro-batch.

./bin/flink --version

Perintah ./bin/flink --version menampilkan versi Flink yang terpasang di lingkungan kalian. Cek rutin seperti ini penting karena Flink merilis versi baru secara berkala dan kalian perlu tahu posisi versi kalian.

#Perbandingan dengan Alternatif

#Apache Spark Streaming

Spark Streaming memproses stream sebagai micro-batch — aliran dipotong menjadi batch kecil lalu diproses dengan engine batch Spark. Keunggulannya: ekosistem Spark yang besar dan API yang familier. Kekurangannya: latency lebih tinggi daripada true streaming, dan model pemrosesan per-batch membuat beberapa pola seperti event time menjadi kurang natural.

#Kafka Streams

Kafka Streams adalah library ringan untuk stateful processing langsung di atas Kafka, dijalankan dalam aplikasi JVM biasa tanpa cluster terpisah. Sangat cocok untuk pipeline sederhana dalam satu ekosistem Kafka. Namun, untuk pipeline yang kompleks, banyak join, dan windows beragam, Kafka Streams lebih terbatas dibanding Flink yang punya source dan sink lintas sistem.

#Apache Beam

Apache Beam adalah abstraction layer — kalian menulis pipeline sekali dengan model yang terstandarisasi, lalu menjalankannya di banyak runner seperti Flink, Spark, dan Google Dataflow. Beam bukan engine, melainkan API portabel. Flink sendiri menjadi salah satu runner terbaik untuk Beam karena dukungannya terhadap event time dan state yang lengkap.

Flink        → engine true streaming, stateful, latensi rendah
Spark Stream → micro-batch, ekosistem besar, latensi menengah
Kafka Streams → library ringan, terikat ekosistem Kafka
Beam         → API portabel, butuh runner seperti Flink

#Kapan Memilih Flink

Pilih Flink jika kalian butuh true streaming dengan latency milidetik, state management yang kuat dengan exactly-once, event time semantics yang ketat, CEP, dan integrasi luas dengan Kafka, Kinesis, database, dan object storage. Pilih alternatif jika kebutuhan kalian sederhana, sangat terikat satu sistem, atau butuh sekadar batch.

#Use Case Ideal Apache Flink

Berikut pola aplikasi yang menjadi sweet spot Flink:

• Stateful stream processing: menghitung metrik berjalan (rolling window) yang butuh mengingat kondisi sebelumnya.
• Event-driven analytics: reaksi otomatis atas event, misalnya menaikkan alert saat threshold terlewati.
• Complex event processing (CEP): mendeteksi pola kejadian berurutan, seperti skema fraud atau failure cascades.
• Real-time data pipelines: ETL streaming dari Kafka ke warehouse atau object storage dengan transformasi di tengah.
• Hybrid batch dan stream: Flink bisa memproses data historis (bounded) dan data live (unbounded) dalam satu model.

import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
 
public class StreamingApp {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.fromElements("order", "refund", "order")
           .map(String::toUpperCase)
           .print();
        env.execute("contoh-streaming");
    }
}

Kode di atas hanyalah kerangka — kita akan membedah map dan seluruh transformasi DataStream secara mendalam di episode 4. Untuk sekarang, cukup pahami bahwa env.execute adalah penanda bahwa seluruh pipeline dikompilasi dan dijalankan.

#Penutup

Episode 1 memberi kalian konteks: Flink lahir dari proyek riset Stratosphere di TU Berlin, masuk Apache pada 2014, dan kini menjadi salah satu engine stream processing paling mapan dengan versi stabil 2.3.0 per 2026. Dia memenangkan kebutuhan true streaming dengan latensi milidetik, state management, dan event time semantics — melawan Spark Streaming yang berbasis micro-batch, Kafka Streams yang ringan namun terbatas, dan Beam yang hanya abstraction layer.

Inti yang harus dibawa pulang:

• Flink berakar dari riset akademik Stratosphere dan menjadi top-level project Apache pada 2015.
• Inovasi kuncinya adalah pipelined streaming: data mengalir antar operator tanpa menunggu batch.
• Spark Streaming memakai micro-batch, Kafka Streams terikat ekosistem Kafka, Beam butuh runner.
• Flink unggul di stateful stream processing, event-driven analytics, CEP, dan real-time pipelines.
• Flink bisa menangani bounded dan unbounded data dalam satu model pemrograman.

Di episode 2 selanjutnya kita akan membahas konsep dasar dan arsitektur Apache Flink — model stream dan DataStream API, konsep event time, processing time, dan ingestion time, stateful computation dengan state backend dan checkpointing, serta arsitektur eksekusi dengan JobManager, TaskManager, slot, dan parallelism. Ini adalah fondasi arsitektural yang akan menemani seluruh series.