Simulasi Temperature dan Top-p pada Model Bahasa
Model bahasa bigram mini memilih kata berikutnya dari papan probabilitas. Geser temperature, top-k, dan top-p, lalu lihat kalimatnya berubah.
Simulasi Temperature dan Top-p pada Model Bahasa
- Klik Langkah beberapa kali dan perhatikan kata terpilih jatuh di batang mana.
- Set temperature 0: kalimat selalu sama berapa pun benihnya.
- Naikkan temperature ke 1,5 lalu Jalankan 5×: muncul kalimat baru yang tidak ada di korpus.
- Turunkan top-p ke 0,5 dan lihat kata berpeluang kecil dicoret.
- Model bigram: hanya melihat satu kata sebelumnya, dari 36 kalimat rekaan tentang kota fiktif yang ditulis untuk lab ini.
- Model sungguhan memakai jaringan saraf dengan konteks ribuan token, tetapi tahap memilih token dari peluangnya sama.
- Peluang dihitung dari frekuensi pasangan kata; temperature diterapkan sebagai p ∝ hitungan^(1/T).
- Holtzman dkk. (2020) — The Curious Case of Neural Text Degeneration, ICLR · Nucleus sampling (top-p), top-k, dan sampling dengan temperature
- Anthropic — Glossary (temperature) · Temperature mengatur keacakan; suhu 0 pun tidak sepenuhnya deterministik
- NIST AI 600-1 — Generative AI Profile · Bagian 2.2: konfabulasi — isi keliru yang disajikan dengan yakin
Apakah Temperature & top-p ini gratis?
Gratis dan tanpa akun. Simulasinya berjalan di peramban kamu; tidak ada yang dikirim ke server KelasGratis. Bila kamu masuk, KelasGratis hanya mencatat bahwa akunmu membuka lab ini (sekali sehari) untuk riwayat dan aktivitas komunitas.
Apa saja penyederhanaan modelnya?
Model bigram: hanya melihat satu kata sebelumnya, dari 36 kalimat rekaan tentang kota fiktif yang ditulis untuk lab ini. Model sungguhan memakai jaringan saraf dengan konteks ribuan token, tetapi tahap memilih token dari peluangnya sama. Peluang dihitung dari frekuensi pasangan kata; temperature diterapkan sebagai p ∝ hitungan^(1/T).
Boleh dipasang di situs sekolah atau blog?
Boleh. Pasang iframe ke https://kelasgratis.com/lab/temperature-top-p?embed=1; bingkainya menampilkan lab saja beserta tautan balik.