Data latih dan uji menurut waktu, validasi bergulir

Ketepatan ramalan hanya bisa dinilai pada data yang tidak dipakai saat membuat ramalan. Hyndman dan Athanasopoulos membagi data menjadi data latih untuk menaksir parameter dan data uji untuk menilai galat; ukuran data uji sekitar 20% dari seluruh sampel dan idealnya paling sedikit sepanjang horizon ramalan yang dibutuhkan. Pada deret waktu, data uji harus pengamatan terakhir: potong dengan iloc, misalnya latih = s.iloc[:-4] dan uji = s.iloc[-4:]. Buku itu juga mengingatkan bahwa model yang sangat cocok dengan data latih belum tentu meramal dengan tepat.

Satu potongan latih-uji hanya menghasilkan sedikit galat. Validasi silang deret waktu, yang juga disebut evaluasi dengan titik asal ramalan bergulir, membuat serangkaian data uji berisi satu pengamatan. Data latih untuk setiap uji hanya berisi pengamatan sebelum pengamatan itu, jadi tidak ada data masa depan yang dipakai. Pengamatan paling awal tidak dijadikan uji karena data latihnya terlalu sedikit. Galat semua uji kemudian dirata-ratakan, dan metode dengan galat validasi terkecil dipilih.

Contoh dengan data lain: validasi bergulir metode naif, data latih awal tiga pengamatan.

data = [15, 17, 16, 19, 21]
galat = []
for i in range(3, len(data)):
    latih = data[:i]
    ramalan = latih[-1]              # naif
    galat.append(data[i] - ramalan)
print(galat)                          # [3, 2]
print(sum(abs(g) for g in galat) / len(galat))   # MAE 2.5