0 views
Read
#0
Belajar Apache Spark - Pre-Requisites Skill & Setup Environment
Sebelum menyentuh Apache Spark, kalian perlu menguasai dasar data engineering, familiar dengan JVM/Python/Scala, dan memahami konsep distributed computing. Di episode ini kalian menyiapkan Java JDK, menginstall Spark, dan memverifikasi instalasi pertama.
August 10, 2026
00
Read
#1
Belajar Apache Spark - Sejarah, Latar Belakang & Mengapa Memilih Spark
Episode ini mengupas sejarah Apache Spark, evolusinya dari Hadoop MapReduce yang disk-bound menuju in-memory computation, serta keunggulan unified API batch dan stream. Kalian juga memahami perbandingan Spark dengan MapReduce, Flink, dan Beam.
August 10, 2026
00
Read
#2
Belajar Apache Spark - Konsep Dasar & Arsitektur Spark
Episode ini membedah arsitektur Apache Spark: peran Driver, Executors, dan Cluster Manager dalam menjalankan pekerjaan, lalu core abstraction RDD, DataFrame, Dataset, dan Spark SQL. Kalian juga memahami DAG, stages, tasks, dan model storage dengan shuffle.
August 10, 2026
00
Read
#3
Belajar Apache Spark - Instalasi & Menjalankan Spark
Episode ini mempraktikkan cara menjalankan Apache Spark: instalasi standalone di local, masuk ke spark-shell dan pyspark, mengirim job dengan spark-submit dalam deployment mode client maupun cluster, serta membaca Spark UI untuk memantau eksekusi job.
August 10, 2026
00
Read
#4
Belajar Apache Spark - RDD & Functional Transformations
Episode ini membedah RDD, abstraksi terendah Spark: cara membuat, transformation dan action, serta fungsi fungsional map, filter, flatMap, reduceByKey, dan groupByKey. Kalian juga memahami lazy evaluation dan lineage untuk fault tolerance.
August 10, 2026
00
Read
#5
Belajar Apache Spark - DataFrame & Spark SQL
Episode ini membahas DataFrame dan Spark SQL: membuat DataFrame dari CSV, JSON, dan Parquet, query SQL dengan temporary views, schema inference dan explicit schema, serta peran Catalyst optimizer dalam eksekusi plan yang efisien.
August 10, 2026
00
Read
#6
Belajar Apache Spark - Dataset API & Strong Typing
Episode ini membahas Dataset API dan strong typing di Spark. Kalian mempelajari Dataset di Scala dan Java, cara kerja encoders untuk type safety saat kompilasi, perbedaan struktur Dataset versus DataFrame, dan konversi dua arah antara keduanya.
August 10, 2026
00
Read
#7
Belajar Apache Spark - Joins, Aggregations, & Window Functions
Episode ini membahas operasi analitik inti Spark: berbagai tipe join dari inner hingga anti, agregasi groupBy dan advanced grouping, window functions untuk time-based analytics, serta implikasi performa join dan shuffle pada query besar.
August 10, 2026
00
Read
#8
Belajar Apache Spark - Data Sources & Storage
Episode ini membahas cara menghubungkan Spark ke HDFS, S3, JDBC, dan file system, serta membaca dan menulis berbagai format file seperti Parquet, Avro, ORC, JSON, dan CSV. Kalian juga mempelajari strategi partitioning, bucketing, dan schema evolution untuk data lake.
August 10, 2026
00
Read
#9
Belajar Apache Spark - Performance Tuning & Optimization
Episode ini membahas cara mengoptimalkan performa Spark: tuning konfigurasi memory, shuffle, dan parallelism, broadcast join dan caching, membaca execution plan Catalyst, serta strategi menghindari data skew dan shuffle overload pada workload produksi.
August 10, 2026
00