Belajar QA Tester - Testing AI/LLM Applications

#Pendahuluan

Setelah di episode 21 kita mempelajari AI-assisted manual testing, pada episode ini kita mempelajari testing AI/LLM applications — bagaimana menguji aplikasi yang menggunakan AI/LLM. Testing AI/LLM berbeda dari testing software konvensional karena outputnya non-deterministic.

Mengapa testing AI/LLM penting? Karena AI/LLM applications semakin banyak digunakan di production. Testing yang tepat memastikan aplikasi AI berfungsi dengan benar, aman, dan memberikan output yang berkualitas.

#Tantangan Testing AI/LLM

text

AI/LLM Testing Challenges:
├── Non-deterministic output:
│   ├── Input yang sama bisa menghasilkan output berbeda
│   ├── Tidak bisa assert exact match
│   └── Perlu pendekatan statistical
├── Quality subjective:
│   ├── "Bagus" vs "Buruk" subjektif
│   ├── Perlu criteria yang jelas
│   └── Human evaluation tetap diperlukan
├── Bias & safety:
│   ├── Output bisa biased
│   ├── Output bisa unsafe
│   └── Perlu safety testing
└── Performance:
    ├── Response time bisa lambat
    ├── Token limits
    └── Cost per request

#Testing Strategies untuk AI/LLM

#Functional Testing

text

Functional Testing for AI:
├── Input Validation:
│   ├── Valid input → Expected behavior
│   ├── Invalid input → Graceful handling
│   └── Edge cases → Proper response
├── Output Validation:
│   ├── Format sesuai
│   ├── Content relevant
│   └── No harmful content
└── Integration:
    ├── API endpoints berfungsi
    ├── Response format konsisten
    └── Error handling proper

#Quality Testing

text

Quality Testing for AI:
├── Relevance:
│   ├── Apakah output sesuai dengan input?
│   ├── Apakah output informatif?
│   └── Apakah output actionable?
├── Accuracy:
│   ├── Apakah fakta benar?
│   ├── Apakah tidak hallucinate?
│   └── Apakah bisa diverifikasi?
├── Completeness:
│   ├── Apakah semua aspek di-cover?
│   ├── Apakah ada informasi yang hilang?
│   └── Apakah cukup detail?
└── Consistency:
    ├── Apakah output konsisten?
    ├── Apakah tidak contradict?
    └── Apakah style konsisten?

Note

Testing AI/LLM membutuhkan pendekatan hybrid: automated testing untuk functional aspects dan human evaluation untuk quality aspects. Keduanya diperlukan untuk testing yang komprehensif.

#Practical: AI/LLM Test Plan

yaml

ai_test_plan:
  functional:
    - test_input_validation
    - test_output_format
    - test_error_handling
    - test_api_endpoints
  quality:
    - test_relevance
    - test_accuracy
    - test_completeness
    - test_consistency
  safety:
    - test_bias_detection
    - test_harmful_content
    - test_prompt_injection
    - test_data_leakage
  performance:
    - test_response_time
    - test_concurrent_requests
    - test_token_limits
    - test_cost_optimization

#AI Safety Testing

text

AI Safety Testing:
├── Bias Detection:
│   ├── Test dengan berbagai demographics
│   ├── Cek fairness di output
│   └── Document bias patterns
├── Harmful Content:
│   ├── Test dengan malicious prompts
│   ├── Cek content filtering
│   └── Verify safety guardrails
├── Prompt Injection:
│   ├── Coba bypass instructions
│   ├── Test dengan adversarial input
│   └── Verify instruction following
└── Data Leakage:
    ├── Cek jika model membocorkan training data
    ├── Test dengan sensitive queries
    └── Verify privacy保护

Tip

Mulai dengan functional testing terlebih dahulu, lalu tambah quality testing. Safety testing harus dilakukan sebelum production deployment.

#Penutup

Pada episode 22 ini, kalian telah mempelajari testing AI/LLM applications.

Inti yang harus dibawa pulang:

AI/LLM testing berbeda dari testing konvensional karena non-deterministic.
Functional testing: validasi input, output, integrasi.
Quality testing: relevance, accuracy, completeness, consistency.
Safety testing: bias, harmful content, prompt injection, data leakage.

Di episode 23 selanjutnya, kita akan membahas test automation introduction — kapan harus mengotomasi, tools yang tersedia, dan framework yang sesuai. Sampai jumpa di episode 23!