Lompat ke konten utama
Kelas
Mengolah Teks dengan PythonPelajaran 6 dari 16 · Modul 2, Membersihkan dan memecah teks

Modul 2 · Membersihkan dan memecah teks

Tokenisasi: memecah teks menjadi kata dan kalimat

Setelah pelajaran ini kamu bisa memecah teks menjadi token kata dengan re.findall dan menjadi kalimat dengan re.split.

  • ±13 menit
  • 3 latihan
  • Diperiksa 27 Sep 2026

Latihan di pelajaran ini butuh akun gratis. Progres, kode, dan catatanmu hanya tersimpan di browser ini. Masuk untuk menyimpannya

Materi

Tokenisasi memecah teks menjadi token, yaitu satuan yang akan dihitung; di kelas ini token adalah kata. Cara paling sederhana adalah str.split(), yang memecah pada spasi. Kelemahannya, tanda baca ikut menempel, sehingga "enak," dan "enak" dihitung sebagai dua token berbeda. re.findall(r"\w+", teks) mengambil setiap deretan karakter kata dan mengembalikannya sebagai list, sehingga tanda baca tertinggal dengan sendirinya.

import re

kalimat = "Paketnya datang, isinya lengkap. Kurirnya ramah!"
print(kalimat.split())
# ['Paketnya', 'datang,', 'isinya', 'lengkap.', 'Kurirnya', 'ramah!']
print(re.findall(r"\w+", kalimat.casefold()))
# ['paketnya', 'datang', 'isinya', 'lengkap', 'kurirnya', 'ramah']

Kata ulang perlu diputuskan sejak awal. \w tidak mencakup tanda hubung, sehingga "buku-buku" terpecah menjadi dua token buku dan buku. Bila kata ulang harus tetap utuh, polanya ditulis \w+(?:-\w+)*: satu deretan kata, diikuti nol atau lebih pasangan tanda hubung dan deretan kata. Tanda (?:...) membuat grup tanpa tangkapan. Ini penting karena re.findall mengembalikan isi grup tangkapan bila pola memilikinya, jadi grup biasa (...) mengubah isi hasilnya.

Tokenisasi kalimat memakai cara yang sama dengan pemisah berbeda: re.split(r"[.!?]+", teks) memecah pada titik, tanda seru, atau tanda tanya, dan menyisakan string kosong di akhir bila teks diakhiri tanda itu. Singkatan seperti Jl. dan angka desimal seperti 2.5 ikut terpecah; pola sederhana ini tidak membedakannya.

Latihan

Jawaban diperiksa di server. Lulus berarti kamu memahami contohnya, bukan penilaian seluruh pekerjaanmu.

Latihan 2 dari 3

Berapa banyak token yang dihasilkan re.findall(r"\w+", "Sepatu-sepatu itu dikirim ke Bandung.")?

Catatanmu

Memuat catatan…

tersimpan otomatis, ikut tercetak · 0/4.000

Lanjutkan ke

Tampilkan 1 lagi