Tokenizer AI: Lihat Kalimat Dipecah Jadi Token
Ketik kalimat dan lihat tokenizer BPE mainan memecahnya jadi keping token berwarna, lalu jendela konteks terisi dan biayanya terhitung.
Tokenizer AI: Lihat Kalimat Dipecah Jadi Token
- Bandingkan contoh Inggris dan Indonesia: lihat jumlah token dan karakter per token.
- Ganti korpus latih ke Indonesia dominan: kalimat Indonesia langsung butuh lebih sedikit token.
- Geser gabungan BPE ke 0: setiap karakter menjadi satu token.
- Perkecil jendela konteks sampai masukan dan cadangan jawaban tidak muat lagi.
- Tokenizer mainan: dilatih di peramban dari ±60 kalimat yang ditulis untuk lab ini; jumlah tokennya bukan angka model mana pun.
- Tokenizer sungguhan berkosakata puluhan sampai ratusan ribu token dan dilatih dari teks sangat besar.
- Harga tidak ditulis di sini karena berubah; isi dari halaman harga resmi penyedia.
- Huruf di luar korpus (emoji, aksara lain) dipecah ke byte UTF-8 seperti BPE tingkat byte.
- Sennrich, Haddow & Birch (2016) — Neural Machine Translation of Rare Words with Subword Units, ACL · Algoritma byte pair encoding (BPE): gabungkan pasangan simbol yang paling sering
- Anthropic — Glossary (token) · Token bisa berupa kata, potongan kata, karakter, atau byte; jumlahnya berbeda menurut bahasa
- Anthropic — Context windows · Masukan dan keluaran sama-sama dihitung di jendela konteks
Apakah Tokenizer & biaya token ini gratis?
Gratis dan tanpa akun. Simulasinya berjalan di peramban kamu; tidak ada yang dikirim ke server KelasGratis. Bila kamu masuk, KelasGratis hanya mencatat bahwa akunmu membuka lab ini (sekali sehari) untuk riwayat dan aktivitas komunitas.
Apa saja penyederhanaan modelnya?
Tokenizer mainan: dilatih di peramban dari ±60 kalimat yang ditulis untuk lab ini; jumlah tokennya bukan angka model mana pun. Tokenizer sungguhan berkosakata puluhan sampai ratusan ribu token dan dilatih dari teks sangat besar. Harga tidak ditulis di sini karena berubah; isi dari halaman harga resmi penyedia. Huruf di luar korpus (emoji, aksara lain) dipecah ke byte UTF-8 seperti BPE tingkat byte.
Boleh dipasang di situs sekolah atau blog?
Boleh. Pasang iframe ke https://kelasgratis.com/lab/tokenizer-biaya-token?embed=1; bingkainya menampilkan lab saja beserta tautan balik.