Belajar Vitess - Resharding & Scaling Workflows

#Pendahuluan

Semua database akhirnya bertemu dinding yang sama: kapasitas. Episode 16 membahas bagaimana Vitess melewati dinding itu tanpa downtime — lewat resharding. Ini adalah fitur yang paling ditakuti dan paling diandalkan oleh operator Vitess: menakutkan karena salah urutan berarti bencana, andal karena sudah dipakai bertahun-tahun oleh perusahaan sekelas YouTube dan Slack.

Roadmap episode 16: kapan harus resharding, online resharding dengan VReplication, perbedaan splitting dan moving shards, scaling replica, lalu vertical vs horizontal scaling.

#Kapan Harus Resharding

Resharding adalah operasi besar — jangan dilakukan tanpa alasan jelas. Tanda-tanda yang umum:

• Satu shard mendekati batas kapasitas (storage atau CPU).
• Latensi tulis naik karena satu primary kewalahan.
• Backup terlalu lama karena data satu shard terlalu besar.
• Storage jadi hambatan — data tidak muat lagi di satu shard.

Resharding tidak harus mengubah jumlah shard. Kadang yang dibutuhkan move shards: memindahkan shard ke hardware atau region yang lebih cocok. Episode ini membahas keduanya.

#Online Resharding dengan VReplication

Resharding di Vitess berjalan online: data disalin ke shard baru sambil aplikasi tetap melayani traffic. Mesin di baliknya adalah VReplication (episode 10). Alur utamanya:

1. Buat shard baru (misal -80 dan 80-) untuk keyspace.
2. Buat workflow resharding yang menyalin data dari shard 0 ke shard baru.
3. VReplication menyalin snapshot, lalu mengejar ketinggalan dari binlog.
4. Setelah lag mendekati nol, switch read dan write traffic ke shard baru.
5. Selesaikan workflow dan nonaktifkan shard lama.

vtctlclient CreateShard users/-80
vtctlclient CreateShard users/80-

Perintah vtctlclient CreateShard membuat shard baru yang masih kosong. Langkah berikutnya adalah workflow resharding — di versi Vitess modern, gunakan workflow dengan target shard:

vtctlclient Reshard --source-shards=0 \
  --target-shards=-80,80- users create split_users
vtctlclient Workflow --keyspace=users show split_users

Perintah vtctlclient Workflow ... show memantau progres: berapa data tersalin, berapa lag, dan kapan aman untuk switch.

#Splitting vs Moving Shards

#Splitting (Shard Split)

Splitting memecah satu shard menjadi beberapa: 0 menjadi -80 dan 80-, atau -80 menjadi -40 dan 40-80. Kapasitas total naik karena data terbagi merata. Ini operasi paling umum untuk pertumbuhan.

#Moving Shards

Moving shards memindahkan shard dari satu cell/region ke cell/region lain tanpa mengubah jumlahnya. Berguna saat relokasi infrastruktur, atau saat satu region tidak lagi ideal. Data disalin ke lokasi baru, disinkronkan, lalu traffic dipindahkan.

vtctlclient MoveTables --source=commerce --tables=orders users create order_move
vtctlclient MoveTables --source=commerce --tables=orders users order_move switchtraffic

vtctlclient MoveTables memindahkan tabel orders dari keyspace commerce ke users — contoh moving shards di level keyspace yang juga dipakai untuk relokasi.

#Scaling Replica dan Vertical vs Horizontal

#Menambah Replica

Resharding menambah primary (kapasitas tulis). Untuk kapasitas baca, tambah replica. Ini operasi ringan: bootstrap tablet baru dari backup terbaru, lalu biarkan ia mengejar replikasi.

vtctlclient ListAllTablets -keyspace_shard=users/0

vtctlclient ListAllTablets menampilkan tablet per shard — kalian bisa melihat berapa replica yang sudah ada dan menambahkan jika beban baca naik.

#Vertical vs Horizontal Scaling

• Vertical scaling (scale up): memperbesar resource satu server. Sederhana, tapi ada batas fisik dan biaya yang naik eksponensial. Cocok untuk mengulur waktu.
• Horizontal scaling (scale out): menambah server. Di Vitess berarti menambah shard atau replica. Skala hampir tanpa batas, tapi menambah kompleksitas operasi.

Rekomendasi praktis: mulai dari vertical scaling untuk menunda kompleksitas, lalu beralih ke horizontal (resharding) saat vertical tidak lagi masuk akal secara biaya atau teknis.

#Pembersihan Setelah Resharding

Setelah switch traffic selesai, pekerjaan belum berakhir. Shard lama masih menyimpan data yang tidak lagi dirutekan — biarkan itu menjadi pemborosan storage dan biaya operasi. Tahap terakhir resharding adalah pembersihan:

1. Pastikan semua query sudah diarahkan ke shard baru.
2. Verifikasi tidak ada VReplication yang masih bergantung pada shard lama.
3. Nonaktifkan shard lama dari keyspace.
4. Hapus shard dan data fisiknya setelah masa tunggu yang aman.

vtctlclient Reshard --keyspace=users --source-shards=0 \
  --target-shards=-80,80- complete split_users

vtctlclient Reshard ... complete menandai workflow selesai. Jangan terburu-buru menghapus data lama sebelum kalian yakin — beri jeda waktu observasi setelah switch sebelum menghapus sumber.

#Penutup

Pada episode 16 ini kalian sudah memahami cara memperluas kapasitas Vitess: kapan resharding dibutuhkan, online resharding dengan VReplication yang berjalan tanpa downtime, perbedaan splitting dan moving shards, scaling replica untuk beban baca, serta keputusan vertical vs horizontal scaling.

Inti yang harus dibawa pulang:

• Resharding adalah operasi besar — lakukan saat ada alasan kapasitas yang jelas.
• Online resharding menyalin data sambil melayani traffic, lalu switch.
• Splitting menambah jumlah shard; moving shards memindahkan lokasi tanpa mengubah jumlah.
• vtctlclient Workflow show adalah alat pantau progres resharding.
• Jangan ubah dua hal sekaligus saat resharding — ubah satu per satu.
• Mulai dari vertical scaling, pindah ke horizontal saat batas tercapai.

Di episode 17 berikutnya kita gabungkan dua dunia: hybrid workloads dan OLAP integration — memisahkan OLTP dan OLAP, read replica untuk reporting, ekspor snapshot, dan integrasi ETL dengan data warehouse. Sampai jumpa!