Belajar Selenium - CI/CD Integration

#Pendahuluan

Test yang hanya berjalan di laptop kalian bukanlah test — itu adalah cerita. Episode 11 membawa suite Selenium kalian ke CI/CD, tempat test dijalankan otomatis di setiap perubahan kode, memberi feedback cepat saat ada yang rusak. Kita akan mengintegrasikan ke GitHub Actions, GitLab CI, Jenkins, dan Azure Pipelines.

CI punya tantangan tersendiri untuk browser automation: tidak ada monitor, environment bersih, dan resource terbatas. Episode ini menjawabnya dengan headless execution, pengelolaan artifacts, dan strategi menangani test yang sering gagal di pipeline tapi lulus di lokal.

#Prinsip Test di CI

#Eksekusi Headless

Di server tanpa display, browser harus berjalan dalam mode headless. Chrome dan Firefox mendukung opsi ini:

Opsi headless untuk CI

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
 
opsi = Options()
opsi.add_argument("--headless")
opsi.add_argument("--no-sandbox")
opsi.add_argument("--disable-dev-shm-usage")
 
driver = webdriver.Chrome(options=opsi)

opsi.add_argument("--headless") menjalankan Chrome tanpa antarmuka. Dua argumen berikutnya — --no-sandbox dan --disable-dev-shm-usage — adalah kebutuhan umum di container Linux agar Chrome tidak crash.

#Environment yang Bersih

CI menjalankan test di mesin baru setiap kali. Pastikan test tidak bergantung pada state lokal: pakai data test yang disiapkan di awal, dan jangan pernah mengasumsikan folder atau file dari mesin developer. Semua dependency harus dideklarasikan dan diinstall ulang.

#GitHub Actions

#Workflow untuk Test Selenium

Simpan workflow di .github/workflows/e2e.yml:

name: E2E
on:
  push:
    branches: [main]
  pull_request:
 
jobs:
  e2e:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - uses: actions/setup-python@v5
        with:
          python-version: "3.12"
      - run: pip install -r requirements.txt
      - name: Jalankan test
        run: pytest tests -n 4 --maxfail=1
      - name: Upload artifacts
        uses: actions/upload-artifact@v4
        if: failure()
        with:
          name: e2e-artifacts
          path: artifacts/

Workflow E2E di atas menginstall dependency, menjalankan test dengan pytest tests -n 4 --maxfail=1, lalu meng-upload folder artifacts hanya saat gagal — persis folder screenshot dari episode 7.

#GitLab CI dan Jenkins

#GitLab CI

GitLab CI memakai .gitlab-ci.yml dengan runner yang menjalankan job:

e2e:
  image: python:3.12
  script:
    - pip install -r requirements.txt
    - pytest tests --maxfail=1
  artifacts:
    when: on_failure
    paths:
      - artifacts/

Job e2e di atas memakai image python:3.12, menjalankan pytest, dan menyimpan artifacts/ ketika gagal. Konsep artifact yang sama berlaku di semua platform CI.

#Jenkins

Jenkins memakai Jenkinsfile berbasis Groovy. Prinsipnya identik — install dependency, jalankan pytest, dan arsipkan laporan. Untuk Jenkins, pastikan juga memakai tag image dengan Chrome dan Firefox yang sudah terinstall, atau jalankan grid sebagai service terpisah.

#Test Reporting dan Failure Feedback

#Laporan yang Berguna

Laporan yang baik menceritakan tiga hal: test mana yang gagal, mengapa gagal, dan apa buktinya. Di episode 7 kalian sudah menyimpan screenshot dan snapshot HTML. Di CI, pastikan laporan tersebut menjadi artifact dan terlihat dalam summary job.

#Format JUnit dan HTML

Generate laporan dalam format yang bisa dibaca pipeline:

pip install pytest-html
pytest tests --junitxml=report.xml --html=report.html

pytest tests --junitxml=report.xml --html=report.html menghasilkan laporan XML standar JUnit yang dipahami semua CI, plus laporan HTML yang nyaman dibuka manusia. Keduanya di-upload sebagai artifact.

#Menangani Flaky Test di CI

#Membedakan Flaky dari Failure Nyata

Flaky test adalah test yang kadang lulus, kadang gagal tanpa perubahan kode. Strategi pertama: jangan buru-buru menghapus test — investasikan waktu untuk menemukan akar masalah. Jika waktu terbatas, gunakan retry sementara di tingkat CI:

- name: Jalankan test
  run: pytest tests --maxfail=1
  retry: 3

Anotasi retry: 3 di workflow membuat GitHub Actions mengulang job yang gagal. Ini penanganan sementara — episode 13 akan membahas cara memberantas flakiness dari akarnya.

#Feedback yang Cepat

Atur --maxfail=1 agar pipeline berhenti di kegagalan pertama, dan jalankan subset test cepat lebih dulu. Prinsipnya: semakin cepat feedback, semakin cepat tim memperbaiki — dan semakin kecil biaya perbaikan.

#Penutup

Episode 11 mengubah test kalian menjadi sistem yang bekerja sendiri: integrasi ke GitHub Actions, GitLab CI, Jenkins, dan Azure Pipelines, eksekusi headless di container, reporting dan artifacts untuk failure feedback, serta trik awal menangani flaky test.

Inti yang harus dibawa pulang:

• CI butuh headless mode plus argumen yang ramah container.
• Workflow CI mengulangi pola yang sama: install, test, upload artifacts.
• Laporan JUnit dan HTML menjadi jembatan antara pytest dan platform CI.
• Artifacts screenshot penting untuk debug; simpan di CI, bukan di git.
• Retry hanya penanganan sementara; akar flakiness harus diburu.

Di episode 12 selanjutnya kita akan membahas browser dan network security — mengautomasi login flow yang aman, menangani 2FA, SSO, dan OAuth, menguji aksesibilitas dan konten aman, serta menangkap console log dan network errors dari browser.