Materi
Toko Batik Sekar di Pekalongan memasang asisten obrolan di toko daringnya. Pemiliknya, Bu Laras, ingin tiga hal sebelum asisten itu dibuka untuk pelanggan: percakapan yang mengingat jawaban sebelumnya, perkiraan biaya bulanan, dan riwayat yang tidak tumbuh tanpa batas. Harga contoh yang dipakai tim: Rp15.000 per sejuta token masukan dan Rp75.000 per sejuta token keluaran. Model tiruan menghitung satu kata sebagai satu token.
Memangkas riwayat dengan membuang pesan paling lama adalah cara sederhana menjaga konteks tetap muat; halaman Context windows Anthropic mencatat antarmuka obrolan bisa mengelola konteks secara bergulir, pertama masuk pertama keluar.
