Materi
Sistem Ax = b dengan lebih banyak persamaan daripada peubah umumnya tidak konsisten: b berada di luar Col A. Interactive Linear Algebra §6.5 mendefinisikan penyelesaian kuadrat terkecil x̂ sebagai vektor yang membuat ‖b − Ax̂‖ sekecil mungkin, yaitu jumlah kuadrat selisih komponen b dan Ax̂ paling kecil. Vektor Ax̂ adalah titik di Col A yang paling dekat ke b; dari modul sebelumnya, titik itu adalah proyeksi ortogonal b ke Col A.
Persamaannya turun dalam satu langkah. Residu r = b − Ax̂ harus tegak lurus terhadap setiap kolom A, artinya Aᵀ(b − Ax̂) = 0, atau AᵀAx̂ = Aᵀb. Inilah persamaan normal (Kuttler §4.11, Austin §6.5). Sistem ini selalu konsisten. Penyelesaiannya tunggal tepat ketika kolom-kolom A bebas linear, karena saat itu AᵀA dapat dibalik; bila kolomnya bergantung linear, Ax̂ tetap tunggal tetapi x̂ tidak. Bila b sudah berada di Col A, x̂ adalah penyelesaian biasa dan residunya nol.
np.linalg.lstsq(A, b, rcond=None) mengembalikan empat hal: x̂, jumlah kuadrat residu, rank A, dan nilai singular A. Bagian kedua berupa array kosong bila rank A lebih kecil dari banyak kolom atau A tidak lebih banyak barisnya daripada kolomnya. Untuk kolom yang bergantung linear, fungsi itu memilih x̂ yang normanya paling kecil. Yang hampir selalu dipakai hanya bagian pertama, [0].
A = [[1, 1], b = (1, 2, 2, 4)
[1, 2],
[1, 3],
[1, 4]]
AᵀA = [[4, 10], [10, 30]], Aᵀb = (9, 27)
4x₁ + 10x₂ = 9, 10x₁ + 30x₂ = 27 → x̂₁ = 0, x̂₂ = 0,9
Ax̂ = (0,9; 1,8; 2,7; 3,6), r = b − Ax̂ = (0,1; 0,2; −0,7; 0,4)
Aᵀr: 0,1 + 0,2 − 0,7 + 0,4 = 0 dan 0,1 + 0,4 − 2,1 + 1,6 = 0 ✓
‖r‖² = 0,01 + 0,04 + 0,49 + 0,16 = 0,70