Materi
Adjudikasi adalah proses memutuskan label akhir untuk butir yang tidak disepakati. Overview TREC 2012 Crowdsourcing Track menjelaskan satu contoh nyata. Bila suara mayoritas berbeda dengan penilaian NIST, dokumennya diadjudikasi; ada 459 dokumen seperti itu. Tiga penilai dari University of Waterloo, yang tidak ikut lomba, menilai tiap dokumen secara terpisah. Sebelumnya mereka berlatih pada dokumen yang jawabannya sudah sangat disepakati. Untuk dokumen relevan mereka mencatat letak bagian yang relevan, dan untuk dokumen tidak relevan mereka menulis alasannya. Pada 270 dokumen yang masih belum bulat, ketiganya duduk bersama dan memutuskan.
Ada dua pelajaran penting dari laporan itu. Pertama, setelah 31 penilaian, label NIST disembunyikan dari layar karena dikhawatirkan memengaruhi penilai. Kedua, suara mayoritas ternyata cenderung terlalu hati-hati, dan dalam sebagian besar kasus penilaian NIST yang benar. Suara terbanyak bukan bukti kebenaran.
Menyusun daftar tinjauan dari dua daftar label bisa dilakukan dengan Python murni:
a = ["Ya", "Tidak", "Ya"]
b = ["Ya", "Ya", "Ya"]
for nomor, (x, y) in enumerate(zip(a, b), start=1):
if x != y:
print("tinjau butir", nomor)
