AI & Pembelajaran Mesin
Simulasi Temperature dan Top-p pada Model Bahasa
Simulasi Temperature dan Top-p pada Model Bahasa
Model bahasa bigram mini memilih kata berikutnya dari papan probabilitas. Geser temperature, top-k, dan top-p, lalu lihat kalimatnya berubah.
Yang dipahami
Model bahasa memilih token secara acak dari sebaran peluang. Temperature menajamkan atau meratakan sebaran; top-k dan top-p membuang ekornya. Kalimat yang lancar belum tentu benar.
Cara memakai
- Klik Langkah beberapa kali dan perhatikan kata terpilih jatuh di batang mana.
- Set temperature 0: kalimat selalu sama berapa pun benihnya.
- Naikkan temperature ke 1,5 lalu Jalankan 5×: muncul kalimat baru yang tidak ada di korpus.
- Turunkan top-p ke 0,5 dan lihat kata berpeluang kecil dicoret.
Batasan
- Model bigram: hanya melihat satu kata sebelumnya, dari 36 kalimat rekaan tentang kota fiktif yang ditulis untuk lab ini.
- Model sungguhan memakai jaringan saraf dengan konteks ribuan token, tetapi tahap memilih token dari peluangnya sama.
- Peluang dihitung dari frekuensi pasangan kata; temperature diterapkan sebagai p ∝ hitungan^(1/T).
Pertanyaan yang sering muncul
- Apakah Temperature & top-p ini gratis?
- Gratis dan tanpa akun. Simulasinya berjalan di peramban kamu; tidak ada yang dikirim ke server KelasGratis. Bila kamu masuk, KelasGratis hanya mencatat bahwa akunmu membuka lab ini (sekali sehari) untuk riwayat dan aktivitas komunitas.
- Apa saja penyederhanaan modelnya?
- Model bigram: hanya melihat satu kata sebelumnya, dari 36 kalimat rekaan tentang kota fiktif yang ditulis untuk lab ini. Model sungguhan memakai jaringan saraf dengan konteks ribuan token, tetapi tahap memilih token dari peluangnya sama. Peluang dihitung dari frekuensi pasangan kata; temperature diterapkan sebagai p ∝ hitungan^(1/T).
- Boleh dipasang di situs sekolah atau blog?
- Boleh. Pasang iframe ke alamat halaman ini dengan tambahan ?embed=1 di ujungnya. Bingkainya menampilkan lab saja beserta tautan balik.
Sumber (3)
- Holtzman dkk. (2020) — The Curious Case of Neural Text Degeneration, ICLR · Nucleus sampling (top-p), top-k, dan sampling dengan temperature
- Anthropic — Glossary (temperature) · Temperature mengatur keacakan; suhu 0 pun tidak sepenuhnya deterministik
- NIST AI 600-1 — Generative AI Profile · Bagian 2.2: konfabulasi — isi keliru yang disajikan dengan yakin
Latih di kelas
- Model bahasa memprediksi token berikutnya · AI Generatif untuk Kerja
- Halusinasi dan cara memverifikasinya · AI Generatif untuk Kerja
- N-gram: pasangan dan deretan kata · Mengolah Teks dengan Python
Lab tidak dinilai; soal yang dinilai ada di pelajarannya.