Materi
Daftar 1.200 pelanggan Toko Nusantara dikirim dari sistem lama. Nama beraksen tampil sebagai mojibake, sebagian nama lain memakai bentuk Unicode yang berbeda meski terlihat sama, dan beberapa membawa karakter tak tampak hasil salin-tempel dari halaman web. Misi ini memulihkannya menjadi satu berkas yang bersih.
Dua ejaan yang terlihat sama
Unicode mengizinkan é ditulis sebagai satu titik kode U+00E9 atau sebagai dua titik kode, yaitu huruf e diikuti tanda aksen U+0301. Di layar keduanya identik, tetapi panjangnya berbeda dan perbandingan teks menyatakan keduanya tidak sama. UAX #15 menetapkan bentuk normalisasi untuk menyeragamkannya; NFC menggabungkan menjadi satu titik kode.
| Masalah | Gejala di data | Alat pemulihnya |
|---|---|---|
| Mojibake | Café Ibu Ani | encode("cp1252").decode("utf-8") |
| Bentuk terurai | Dua nama sama tidak cocok saat dibandingkan | unicodedata.normalize("NFC", teks) |
| Karakter tak tampak | Spasi nol lebar U+200B ikut tersalin | unicodedata.category(c) == "Cf" |
Urutannya penting: pulihkan mojibake dulu, baru normalisasi, baru buang karakter tak tampak, dan terakhir pangkas spasi di ujung. Membalik urutannya membuat pemulihan mojibake gagal karena byte-nya sudah berubah.