Materi
Kappa mengukur seberapa konsisten dua anotator, bukan seberapa benar labelnya. Bila keduanya dilatih dengan contoh yang sama-sama keliru, mereka akan sepakat pada kesalahan yang sama dan kappa tetap tinggi. Panduan scikit-learn menyebut nilai di atas 0,8 umumnya dianggap kesepakatan baik; angka itu tetap tidak menjawab pertanyaan apakah labelnya sesuai pedoman.
Batas kedua: kappa dan persentase kesepakatan bisa bercerita berbeda. Laporan TREC 2012 mencatat dua asesor NIST dengan kesepakatan mentah 88,73% tetapi kappa 0,77. Bila satu label sangat dominan, p_e mendekati 1 dan kappa bisa rendah walaupun p_o tinggi.
Untuk mengukur kebenaran dibutuhkan gold set: sekumpulan butir yang label akhirnya sudah diputuskan oleh penilai paling terlatih atau lewat adjudikasi. Overview TREC 2013 Crowdsourcing Track memakai penilaian asesor NIST yang terlatih sebagai gold standard untuk mengukur mutu penilaian peserta. Akurasi anotator terhadap gold set adalah banyak labelnya yang sama dengan gold dibagi banyak butir gold. Fungsi `cohen_kappa_score` dari scikit-learn menghitung kappa langsung:
from sklearn.metrics import cohen_kappa_score
cohen_kappa_score(["Ya", "Tidak", "Ya"], ["Ya", "Tidak", "Tidak"])
