Materi
Ukuran paling sederhana adalah persentase kesepakatan, p_o: banyak butir yang labelnya sama dibagi semua butir. Masalahnya, dua orang yang memilih label secara acak pun akan sering kebetulan sama, apalagi bila satu label sangat sering dipakai. Cohen's kappa mengoreksi hal itu. Dokumentasi scikit-learn mendefinisikannya sebagai κ = (p_o − p_e) / (1 − p_e), dengan p_e kesepakatan yang diharapkan bila kedua anotator memberi label secara acak sesuai sebaran label masing-masing.
p_e dihitung per label: proporsi label itu pada anotator pertama dikali proporsinya pada anotator kedua, lalu dijumlahkan untuk semua label. Perkaliannya adalah aturan peristiwa bebas, P(A dan B) = P(A)·P(B). Contoh 30 kalimat berlabel MENYEBUT_HARGA (Ya/Tidak):
| Rina: Ya | Rina: Tidak | Jumlah Tono | |
|---|---|---|---|
| Tono: Ya | 12 | 3 | 15 |
| Tono: Tidak | 2 | 13 | 15 |
| Jumlah Rina | 14 | 16 | 30 |
p_o = (12 + 13) / 30 = 0,833
p_e = (15/30)(14/30) + (15/30)(16/30) = 0,500
κ = (0,833 − 0,500) / (1 − 0,500) = 0,667Nilai 1 berarti sepakat penuh, 0 berarti setara dengan kebetulan, dan nilai negatif berarti di bawah kebetulan. Panduan scikit-learn menegaskan kappa ini untuk membandingkan pelabelan dua anotator manusia, bukan untuk lebih dari dua anotator.
