Materi
Batch minggu ini berisi sepuluh tiket yang dilabeli dua kali oleh Ayu dan Bima, dan pada tiket 6 juga oleh Citra. Kamu ditunjuk sebagai adjudikator. Aturan tinjauan sama seperti pelajaran sebelumnya: tiket ditinjau bila labelnya berbeda, atau salah satunya TDD.
| No. | Tiket | Ayu | Bima |
|---|---|---|---|
| 1 | Transfer sudah masuk tapi status masih belum dibayar | PEMBAYARAN | PEMBAYARAN |
| 2 | Paket nyasar ke kecamatan sebelah | PENGIRIMAN | PENGIRIMAN |
| 3 | Email terdaftar saya salah ketik | AKUN | PENGIRIMAN |
| 4 | Halo, ada yang bisa bantu? | TDD | TDD |
| 5 | Kata sandi tidak bisa diganti | AKUN | AKUN |
| 6 | Paket rusak, minta pengembalian dana | PENGIRIMAN | PEMBAYARAN |
| 7 | Voucher ongkir tidak muncul | TDD | PENGIRIMAN |
| 8 | Kurir belum datang sejak kemarin | PENGIRIMAN | PENGIRIMAN |
| 9 | Tagihan cicilan terpotong dua kali | PEMBAYARAN | PEMBAYARAN |
| 10 | Nomor HP lama hilang, tidak bisa login | AKUN | AKUN |
Pada tiket 6, Citra memberi PENGIRIMAN, sehingga suara terbanyak adalah PENGIRIMAN. Ingat temuan TREC 2012: suara mayoritas bisa keliru, dan label akhir diturunkan dari aturan tertulis.
Langkahnya: saring tiket yang masuk aturan tinjauan, putuskan label akhir tiap tiket dari pedoman, catat bukti di teks yang mendasari keputusan, lalu kumpulkan kasus yang tidak bisa diputuskan pedoman sebagai bahan versi pedoman berikutnya. Studi Voorhees di NIST mengingatkan bahwa penilaian antarorang memang bervariasi; tugas adjudikator adalah membuat keputusan yang bisa dijelaskan dan diulang, bukan mencari siapa yang paling sering benar.
