Kecocokan kurva: garis, parabola, dan banyak peubah

Mencocokkan model ke data adalah kuadrat terkecil dalam bentuk lain. Untuk garis y = c₀ + c₁t melalui titik (t₁, y₁), …, (tₘ, yₘ), setiap titik memberi satu persamaan c₀ + c₁tᵢ = yᵢ, dan semuanya ditulis Xc = y dengan X matriks desain berbaris [1, tᵢ]. Interactive Linear Algebra §6.5 menunjukkan bahwa model apa pun yang LINEAR TERHADAP KOEFISIENNYA diperlakukan sama: parabola y = c₀ + c₁t + c₂t² berbaris [1, t, t²], model y = c₀ + c₁ cos t + c₂ sin t berbaris [1, cos t, sin t], dan model dua peubah y = c₀ + c₁u + c₂v berbaris [1, u, v]. Kurvanya boleh melengkung; yang harus linear adalah cara koefisien muncul.

Koefisien terbaik didapat dari persamaan normal XᵀXc = Xᵀy atau dari np.linalg.lstsq(X, y, rcond=None)[0]. Kolom berisi angka 1 adalah suku tetap; tanpa kolom itu garisnya dipaksa melewati titik asal. Austin §6.5 mengukur kecocokannya dengan koefisien determinasi R² = 1 − ‖y − Xc‖² / ‖y − ȳ‖², dengan ȳ vektor yang semua komponennya rata-rata y. Nilai 1 berarti semua titik tepat pada model; nilai mendekati 0 berarti residu model hampir sebesar residu garis datar di rata-rata.

Kelas Statistika Inferensial dan Uji Statistik dengan Python membahas regresi dari sisi lain: kapan kemiringannya bermakna, selang kepercayaan, dan p-value dari stats.linregress. Pelajaran ini membahas mesinnya, yaitu proyeksi y ke ruang kolom matriks desain, yang sama untuk satu peubah maupun banyak. np.polyfit(t, y, d) mencocokkan polinom berderajat d dengan cara yang sama, tetapi mengembalikan koefisien mulai dari pangkat TERTINGGI. np.vander(t, d + 1, increasing=True) menyusun kolom 1, t, …, tᵈ.

Data (t, y): (−1, 2), (0, 0), (1, 2), (2, 5)       model y = c₀ + c₁t + c₂t²
X = [[1, −1, 1],
     [1,  0, 0],
     [1,  1, 1],
     [1,  2, 4]]
XᵀX = [[4, 2, 6], [2, 6, 8], [6, 8, 18]],   Xᵀy = (9, 10, 24)
c = (0,45; −0,15; 1,25)        R² ≈ 0,965

import numpy as np
t = np.array([-1, 0, 1, 2]); y = np.array([2, 0, 2, 5])
X = np.vander(t, 3, increasing=True)
np.linalg.lstsq(X, y, rcond=None)[0]     # [0.45, -0.15, 1.25]
np.polyfit(t, y, 2)                      # [1.25, -0.15, 0.45] — urutan terbalik