AI & Pembelajaran Mesin
Tokenizer AI: Lihat Kalimat Dipecah Jadi Token
Tokenizer AI: Lihat Kalimat Dipecah Jadi Token
Ketik kalimat dan lihat tokenizer BPE mainan memecahnya jadi keping token berwarna, lalu jendela konteks terisi dan biayanya terhitung.
Yang dipahami
Model membaca token, bukan kata. Tokenizer yang dilatih dari teks berbahasa Inggris memecah kata Indonesia lebih kecil, sehingga teks yang sama memakai lebih banyak token, ruang konteks, dan biaya.
Cara memakai
- Bandingkan contoh Inggris dan Indonesia: lihat jumlah token dan karakter per token.
- Ganti korpus latih ke Indonesia dominan: kalimat Indonesia langsung butuh lebih sedikit token.
- Geser gabungan BPE ke 0: setiap karakter menjadi satu token.
- Perkecil jendela konteks sampai masukan dan cadangan jawaban tidak muat lagi.
Batasan
- Tokenizer mainan: dilatih di peramban dari ±60 kalimat yang ditulis untuk lab ini; jumlah tokennya bukan angka model mana pun.
- Tokenizer sungguhan berkosakata puluhan sampai ratusan ribu token dan dilatih dari teks sangat besar.
- Harga tidak ditulis di sini karena berubah; isi dari halaman harga resmi penyedia.
- Huruf di luar korpus (emoji, aksara lain) dipecah ke byte UTF-8 seperti BPE tingkat byte.
Pertanyaan yang sering muncul
- Apakah Tokenizer & biaya token ini gratis?
- Gratis dan tanpa akun. Simulasinya berjalan di peramban kamu; tidak ada yang dikirim ke server KelasGratis. Bila kamu masuk, KelasGratis hanya mencatat bahwa akunmu membuka lab ini (sekali sehari) untuk riwayat dan aktivitas komunitas.
- Apa saja penyederhanaan modelnya?
- Tokenizer mainan: dilatih di peramban dari ±60 kalimat yang ditulis untuk lab ini; jumlah tokennya bukan angka model mana pun. Tokenizer sungguhan berkosakata puluhan sampai ratusan ribu token dan dilatih dari teks sangat besar. Harga tidak ditulis di sini karena berubah; isi dari halaman harga resmi penyedia. Huruf di luar korpus (emoji, aksara lain) dipecah ke byte UTF-8 seperti BPE tingkat byte.
- Boleh dipasang di situs sekolah atau blog?
- Boleh. Pasang iframe ke alamat halaman ini dengan tambahan ?embed=1 di ujungnya. Bingkainya menampilkan lab saja beserta tautan balik.
Sumber (3)
- Sennrich, Haddow & Birch (2016) — Neural Machine Translation of Rare Words with Subword Units, ACL · Algoritma byte pair encoding (BPE): gabungkan pasangan simbol yang paling sering
- Anthropic — Glossary (token) · Token bisa berupa kata, potongan kata, karakter, atau byte; jumlahnya berbeda menurut bahasa
- Anthropic — Context windows · Masukan dan keluaran sama-sama dihitung di jendela konteks
Latih di kelas
- Token dan cara memperkirakan jumlahnya · AI Generatif untuk Kerja
- Jendela konteks dan batas pengetahuan · AI Generatif untuk Kerja
- Tokenisasi: memecah teks menjadi kata dan kalimat · Mengolah Teks dengan Python
- Token, biaya, dan jendela konteks · Membangun Aplikasi LLM dengan Python
Lab tidak dinilai; soal yang dinilai ada di pelajarannya.