Materi
Jendela konteks adalah seluruh teks yang bisa dirujuk model saat menghasilkan jawaban, termasuk jawaban itu sendiri. Dokumentasi Anthropic menyebutnya memori kerja, berbeda dari kumpulan data yang dipakai melatih model. Yang masuk hitungan: prompt sistem, setiap pesan termasuk hasil alat, gambar, dan dokumen, definisi alat, serta keluaran yang sedang ditulis. Dalam percakapan, setiap giliran sebelumnya tetap tersimpan utuh, jadi masukan giliran berikutnya makin panjang. Halaman yang sama menyebut akurasi dan daya ingat model menurun saat token makin banyak, gejala yang disebut context rot. Konteks yang lebih panjang tidak otomatis lebih akurat.
Batas pengetahuan (knowledge cutoff) adalah soal lain. Halaman model Anthropic membedakan reliable knowledge cutoff, tanggal sampai pengetahuan model paling luas dan andal, dari training data cutoff, rentang data latih yang lebih luas. Peristiwa sesudah tanggal itu tidak ada di pengetahuan model. Panduan OpenAI menyebut dua jalan: menaruh data yang tidak ada di data latih ke dalam prompt sebagai konteks, atau memakai alat pencarian. Panduan Google menyarankan menyambungkan pencarian untuk fakta yang baru atau jarang.
Jendela konteks model fiktif: 100.000 token
Prompt sistem 1.500
Dokumen SOP 60.000
Riwayat obrolan 8.500
Sisa untuk pertanyaan dan jawaban: 100.000 − 70.000 = 30.000 token
