Lompat ke konten utama

Ajak teman, raih Rp1.000.000. Ikut kompetisi

AI & Pembelajaran Mesin

Tokenizer AI: Lihat Kalimat Dipecah Jadi Token

Gratis, tanpa loginberjalan di perangkatmu

Tokenizer AI: Lihat Kalimat Dipecah Jadi Token

Ketik kalimat dan lihat tokenizer BPE mainan memecahnya jadi keping token berwarna, lalu jendela konteks terisi dan biayanya terhitung.

Yang dipahami

Model membaca token, bukan kata. Tokenizer yang dilatih dari teks berbahasa Inggris memecah kata Indonesia lebih kecil, sehingga teks yang sama memakai lebih banyak token, ruang konteks, dan biaya.

Cara memakai

  1. Bandingkan contoh Inggris dan Indonesia: lihat jumlah token dan karakter per token.
  2. Ganti korpus latih ke Indonesia dominan: kalimat Indonesia langsung butuh lebih sedikit token.
  3. Geser gabungan BPE ke 0: setiap karakter menjadi satu token.
  4. Perkecil jendela konteks sampai masukan dan cadangan jawaban tidak muat lagi.

Batasan

  • Tokenizer mainan: dilatih di peramban dari ±60 kalimat yang ditulis untuk lab ini; jumlah tokennya bukan angka model mana pun.
  • Tokenizer sungguhan berkosakata puluhan sampai ratusan ribu token dan dilatih dari teks sangat besar.
  • Harga tidak ditulis di sini karena berubah; isi dari halaman harga resmi penyedia.
  • Huruf di luar korpus (emoji, aksara lain) dipecah ke byte UTF-8 seperti BPE tingkat byte.

Pertanyaan yang sering muncul

Apakah Tokenizer & biaya token ini gratis?
Gratis dan tanpa akun. Simulasinya berjalan di peramban kamu; tidak ada yang dikirim ke server KelasGratis. Bila kamu masuk, KelasGratis hanya mencatat bahwa akunmu membuka lab ini (sekali sehari) untuk riwayat dan aktivitas komunitas.
Apa saja penyederhanaan modelnya?
Tokenizer mainan: dilatih di peramban dari ±60 kalimat yang ditulis untuk lab ini; jumlah tokennya bukan angka model mana pun. Tokenizer sungguhan berkosakata puluhan sampai ratusan ribu token dan dilatih dari teks sangat besar. Harga tidak ditulis di sini karena berubah; isi dari halaman harga resmi penyedia. Huruf di luar korpus (emoji, aksara lain) dipecah ke byte UTF-8 seperti BPE tingkat byte.
Boleh dipasang di situs sekolah atau blog?
Boleh. Pasang iframe ke alamat halaman ini dengan tambahan ?embed=1 di ujungnya. Bingkainya menampilkan lab saja beserta tautan balik.
Sumber (3)
  1. Sennrich, Haddow & Birch (2016) — Neural Machine Translation of Rare Words with Subword Units, ACL · Algoritma byte pair encoding (BPE): gabungkan pasangan simbol yang paling sering
  2. Anthropic — Glossary (token) · Token bisa berupa kata, potongan kata, karakter, atau byte; jumlahnya berbeda menurut bahasa
  3. Anthropic — Context windows · Masukan dan keluaran sama-sama dihitung di jendela konteks

Latih di kelas

Lab tidak dinilai; soal yang dinilai ada di pelajarannya.

Semua lab AI & Pembelajaran Mesin

© 2026 KelasGratis. Seluruh hak cipta dilindungi undang-undang. Dilarang scraping, kecuali perayap mesin pencari dan AI untuk pengindeksan. Syarat & hak cipta · Dari pendiri yang sama: iLingo, GrowWithAI dan Ambis.