Evaluasi dengan set uji kecil

Mengubah prompt, ukuran potongan, atau k bisa memperbaiki satu jawaban sambil merusak jawaban lain. Halaman evaluasi Anthropic meminta kriteria keberhasilan yang spesifik dan terukur, set uji yang mencerminkan tugas sebenarnya termasuk kasus tepi, dan penilaian otomatis bila memungkinkan. Panduan evaluasi OpenAI menyebut evaluasi berdasarkan kesan, "sepertinya sudah jalan", sebagai pola yang harus dihindari.

Untuk jawaban berupa kategori atau fakta pendek, ukuran paling sederhana adalah exact match: jawaban dianggap benar bila sama dengan jawaban harapan setelah spasi dan huruf besar dinormalkan, seperti dijelaskan halaman Anthropic. Akurasi = jumlah benar ÷ jumlah kasus.

Pipa RAG punya dua tahap yang bisa gagal, jadi ukur keduanya. Hit rate@k adalah bagian pertanyaan yang potongan emasnya, yaitu potongan yang memuat jawaban, masuk k hasil teratas; panduan OpenAI memakai ukuran sejenis bernama context recall. Bila hit rate tinggi tetapi akurasi rendah, masalahnya di tahap jawaban: prompt atau cara model memakai konteks. Bila hit rate rendah, perbaiki pengambilannya dulu.