Materi
Akhir bulan, kamu menyusun laporan kualitas untuk batch 12 tiket yang dilabeli dua kali oleh Ayu dan Bima, ditambah audit Rani, anotator baru, pada sepuluh tiket gold set. Laporannya memuat empat hal: satu contoh label yang tidak ambigu, satu pelanggaran pedoman, angka kesepakatan dan daftar tinjauan, serta akurasi Rani.
| Label | Definisi (bukti yang harus ada di teks tiket) | Contoh |
|---|---|---|
| PEMBAYARAN | Menyebut transaksi uang yang sudah atau akan dilakukan: transfer, saldo terpotong, tagihan, pengembalian dana | “Sudah transfer tapi pesanan belum diproses” |
| PENGIRIMAN | Menyebut status, lokasi, keterlambatan, atau kerusakan paket dalam perjalanan | “Paket belum bergerak dari gudang Bekasi” |
| AKUN | Menyebut masuk (login), kata sandi, PIN, nomor HP atau email terdaftar, atau akun diblokir | “Lupa kata sandi, email tidak menerima tautan” |
| TDD | Tidak dapat ditentukan: tidak menyebut satu pun unsur di atas | “Halo kak, mau tanya” |
Laporan ini memisahkan dua pertanyaan. Seberapa konsisten Ayu dan Bima dijawab oleh persentase kesepakatan dan kappa, dihitung dengan rumus yang sama seperti di dokumentasi scikit-learn. Seberapa benar label seorang anotator dijawab oleh akurasi terhadap gold set, pola yang dipakai TREC untuk menilai penilaian peserta terhadap penilaian asesor NIST. Daftar tinjauan memakai aturan tim: tiket berbeda label atau ada TDD.
Bila lebih dari satu label cocok, prioritasnya PEMBAYARAN > PENGIRIMAN > AKUN. Hasil audit Rani pada gold set:
| No. | Gold | Rani |
|---|---|---|
| G1 | PEMBAYARAN | PEMBAYARAN |
| G2 | AKUN | AKUN |
| G3 | PENGIRIMAN | PENGIRIMAN |
| G4 | PEMBAYARAN | PENGIRIMAN |
| G5 | TDD | TDD |
| G6 | AKUN | AKUN |
| G7 | PENGIRIMAN | PENGIRIMAN |
| G8 | PEMBAYARAN | PEMBAYARAN |
| G9 | TDD | AKUN |
| G10 | PENGIRIMAN | PENGIRIMAN |
