Materi
Label yang bisa diperiksa adalah label yang buktinya terlihat di data. Pedoman anotasi NIST untuk tugas RUFES merumuskannya tegas: sebuah mention boleh ditandai jika dan hanya jika merujuk entitas yang termasuk salah satu jenis yang sudah ditetapkan. Ukurannya keanggotaan pada daftar, bukan kesan anotator.
Kriteria seperti “pelanggan puas” atau “pengirimannya cepat” bergantung pada penilaian pribadi. Dua orang yang sama-sama teliti bisa berbeda, dan tidak ada jawaban yang bisa dibela sebagai satu-satunya yang benar. Kelas ini tidak memakai label semacam itu sebagai soal berkunci. Yang dilakukan adalah mengganti kriterianya dengan fakta yang bisa ditunjuk.
| Kriteria subjektif | Kriteria fakta pengganti |
|---|---|
| Pengirimannya cepat | Ulasan menyebut lama pengiriman dalam satuan waktu, atau tanggal pesan DAN tanggal tiba |
| Harganya mahal | Ulasan menyebut nominal harga dalam rupiah |
| Penjual ramah | Ulasan menyebut penjual membalas chat |
Contoh dengan label LAMA_KIRIM (Ya/Tidak): “Sampai dalam 2 hari ke Makassar” bernilai Ya; “Kilat banget, mantap!” bernilai Tidak, karena tidak ada satuan waktu. Skema ini biner seperti penilaian TREC, sehingga tidak butuh TDD: tidak adanya bukti sudah berarti Tidak.
