Materi
Ketidaksepakatan adalah hal yang wajar dalam anotasi. Studi Voorhees di NIST berangkat dari kenyataan bahwa penilaian relevansi antarasesor dikenal sangat bervariasi. Karena itu banyak proyek melabeli sebagian data dua kali: pedoman RUFES menyebut bahwa untuk penjaminan mutu, setiap dokumen diperiksa lagi oleh anotator yang berbeda.
Yang perlu dilakukan berikutnya adalah menggolongkan tiap ketidaksepakatan, karena perbaikannya berbeda. Kelas ini memakai tiga golongan, dan golongannya ditentukan dengan membaca pedoman, bukan dengan menghitung siapa yang lebih sering benar.
| Golongan | Ciri | Perbaikan |
|---|---|---|
| Salah anotator | Pedoman jelas memutuskan, satu anotator tidak mengikutinya | Koreksi label, umpan balik ke anotator |
| Celah pedoman | Kasusnya tidak tercakup atau definisinya bisa dibaca dua cara | Tambah aturan atau contoh di pedoman |
| Informasi tidak cukup | Teksnya sendiri tidak memuat bukti | Label TDD sesuai definisinya |
Overview TREC 2012 Crowdsourcing Track memberi contoh celah pedoman: peserta harus menebak relevansi dari deskripsi topik, padahal asesor NIST mungkin menilai dengan gagasan relevansi yang hanya diketahui dirinya dan tidak tertulis. Contoh di TokoKita: tiket “Voucher diskon tidak bisa dipakai” diberi PEMBAYARAN oleh satu anotator dan TDD oleh anotator lain. Voucher tidak disebut di definisi mana pun, jadi masalahnya ada di pedoman.
