Evaluasi Agen (Agent Evals), Observabilitas & Audit Biaya Token
Mengukur Akurasi Pemanggilan Alat, Menghitung Biaya per Tugas & Menghindari Regresi
01. Target Pembelajar & Prasyarat
Engineering lead dan QA engineer sistem AI.
02. Kompetensi Konseptual (Level 1ā2)
- āMemahami metrik Tool Selection Accuracy dan Cost-Per-Resolved-Task.
03. Kompetensi Praktis & Artefak Nyata (Level 3ā4)
- āMembangun skrip evaluasi benchmark dengan ground truth test set.
04. Aplikasi Nyata & Verifikasi
Penerapan Industri: Pipeline CI/CD Z-Automation untuk memvalidasi model agen sebelum rilis.
Metode Verifikasi: Menjalankan 10 test case otomatis dan mencetak skor akurasi persentase.
Mengapa Subjek Ini Krusial dalam Rekayasa Nyata?
Bangun pipeline pengujian benchmark otomatis untuk menguji apakah pembaruan prompt atau model meningkatkan atau merusak kinerja agen Anda.
Dalam lingkungan produksi, kegagalan memahami batas-batas arsitektur sistem sering kali menyebabkan bug yang sulit dilacak, pemborosan biaya komputasi, atau antarmuka yang lambat bagi pengguna.
Bagaimana Sistem Sebenarnya Bekerja di Tingkat Protokol
Metrik Kunci Reliabilitas Agen
Dalam rekayasa sistem agen, kita mengukur:
1. Tool Selection Accuracy: Apakah model memilih fungsi yang benar untuk masalah yang diberikan?
2. Argument Accuracy: Apakah nilai parameter yang diekstrak sesuai dengan fakta ground truth?
3. Token Cost per Task: Berapa biaya inferensi yang dihabiskan untuk menyelesaikan satu tiket?
Alur Arsitektur Sistem Otonom & Runtime
Pesan bahasa alami diterima melalui antarmuka web atau webhook chat.
{
"input": "Berapa estimasi biaya pembuatan landing page bisnis?"
}Koreksi Asumsi Umum vs Realitas Rekayasa
āCukup mencoba 2 pertanyaan di antarmuka obrolan untuk mengetahui apakah agen sudah bagus.ā
Evaluasi sistem AI membutuhkan puluhan benchmark otomatis untuk mengukur konsistensi statistik.
Implementasi Langkah-demi-Langkah
Hasil akhir yang diharapkan: Test harness yang menjalankan uji coba dan menghasilkan tabel skor lulus/gagal.
lab-a3-m3/ āāā eval-runner.mjs
1Implementasi Benchmark Evaluasi
Menguji kecocokan fungsi terhadap ground truth.
| 1 | // eval-runner.mjs |
| 2 | const DATASET_UJI = [ |
| 3 | { input: 'Berapa harga paket corporate?', expectedTool: 'cek_detail_layanan' }, |
| 4 | { input: 'Tolong gabungkan paket 3D dan WhatsApp', expectedTool: 'hitung_estimasi_bundel' }, |
| 5 | { input: 'Kirim invoice sekarang', expectedTool: 'buat_invoice_klien' } |
| 6 | ]; |
| 7 | |
| 8 | function mockAgentClassifier(input) { |
| 9 | if (input.includes('harga')) return 'cek_detail_layanan'; |
| 10 | if (input.includes('gabung')) return 'hitung_estimasi_bundel'; |
| 11 | return 'buat_invoice_klien'; |
| 12 | } |
| 13 | |
| 14 | function jalankanEvaluasi() { |
| 15 | let benar = 0; |
| 16 | for (const t of DATASET_UJI) { |
| 17 | const hasil = mockAgentClassifier(t.input); |
| 18 | const pass = hasil === t.expectedTool; |
| 19 | if (pass) benar++; |
| 20 | console.log(`[${pass ? 'PASS ā' : 'FAIL ā'}] Input: "${t.input}" -> Expected: ${t.expectedTool}, Got: ${hasil}`); |
| 21 | } |
| 22 | const akurasi = (benar / DATASET_UJI.length) * 100; |
| 23 | console.log(`\nAkurasi Keseluruhan: ${akurasi.toFixed(1)}%`); |
| 24 | } |
| 25 | |
| 26 | jalankanEvaluasi(); |
[PASS ā] ... Akurasi Keseluruhan: 100.0%
Mengantisipasi Masalah Umum & Tantangan Ekstensi
Tambahkan metrik latensi rata-rata per pengujian.
Uji Kompetensi Mandiri & Verifikasi Hasil
Standar kelulusan Z-Automation mewajibkan skor minimum 80 / 100 Poin dengan komponen Implementasi Praktis minimal 21 / 35 Poin (60%). Jawab soal diagnostik dan centang hasil pengujian praktis Anda.
BAGIAN A // PERTANYAAN DIAGNOSTIK KONSEPTUAL & TEKNIS (40 POIN)
01.Mengapa dataset evaluasi (ground truth) harus disimpan terpisah dari instruksi prompt?
BAGIAN B // DAFTAR PERIKSA HASIL IMPLEMENTASI PRAKTIS (35 POIN ā MIN. 21 POIN)
Centang item di bawah ini hanya jika Anda telah menjalankan kode di komputer Anda dan mengamati output yang benar: