Materi
Nama kelas saja tidak cukup untuk membuat dua orang memberi label yang sama. Pedoman operasional mengubah nama kelas menjadi aturan yang bisa diperiksa. Pedoman PASCAL VOC memberi contoh yang rapi. Kelas mobil mencakup van dan mobil keluarga untuk enam sampai delapan orang, tetapi tidak mencakup truk, traktor, dan kendaraan darurat. Kelas bus mencakup minibus tetapi tidak trem. Mainan yang mirip mobil sungguhan dilabeli mobil, mainan bergaya kartun tidak.
TREC menulis definisi kerja relevansi: sebuah dokumen relevan bila informasinya akan dipakai seseorang yang menulis laporan tentang topik itu. Lalu ada aturan batas: dokumen dinilai relevan bila bagian mana pun relevan, sekecil apa pun bagian itu dibanding seluruh dokumen. Aturan seperti ini menutup perdebatan “relevan sedikit” sebelum terjadi.
Dari dua contoh itu, pedoman yang bisa dipakai memuat empat unsur: definisi berbasis bukti yang terlihat di data, contoh yang masuk, contoh yang tidak masuk (pengecualian), dan aturan untuk kasus yang cocok dengan lebih dari satu kelas. Contoh di Pedoman Tiket TokoKita: “Paket datang penyok, saya minta uang kembali” menyebut kerusakan paket dan pengembalian dana, dan aturan prioritas memutuskan PEMBAYARAN.
