Setelah pelajaran ini kamu bisa menjalankan set uji pada pipa RAG, menghitung hit rate dan akurasi, dan memilah kegagalan ke tahap pengambilan atau tahap jawaban.
±16 menit·Diperiksa 23 Okt 2026
Latihan di pelajaran ini butuh akun gratis. Progres, kode, dan catatanmu hanya tersimpan di browser ini. Masuk untuk menyimpannya
Materi
Koperasi Simpan Pinjam Sejahtera di Yogyakarta memasang asisten FAQ untuk anggotanya. Sebelum mengganti prompt, pengurus ingin angka pembanding. Set ujinya lima pertanyaan: empat punya potongan emas di dokumen FAQ, satu sengaja di luar dokumen dengan harapan "tidak tahu". Hit rate hanya dihitung dari kasus yang punya potongan emas; akurasi dari semua kasus.
cari_tiruan dan jawab_tiruan mewakili tahap pengambilan dan tahap jawaban; keduanya tiruan dengan hasil tetap, dan normal() sudah tersedia untuk menormalkan jawaban.
Latihan
0/4 lulus
Misi akhir modul: luluskan minimal 4 dari 4 tugas. Jawaban diperiksa di server. Lulus berarti kamu memahami contohnya, bukan penilaian seluruh pekerjaanmu.
Latihan 2 dari 4
Setelah prompt diganti, akurasi set uji 20 kasus naik dari 14 benar menjadi 17 benar. Berapa poin persen kenaikan akurasinya?
Latihan 3 dari 4
Pengurus ingin menambah satu kasus ke set uji supaya sesuai prinsip desain evaluasi di halaman Anthropic. Kasus mana yang paling menambah cakupan?
Catatanmu
Memuat catatan…
tersimpan otomatis, ikut tercetak · 0/4.000
Luluskan semua latihan dulu untuk menandai pelajaran ini selesai.
