Snabb fråga om minstakvadratmetoden

En typuppgift är att jag har ett linjärt hölje W och ska finna det kortaste avståndet mellan höljet och en vektor u. Säg att höljet består av vektorerna

v1=(1 1 1 1) v2=(2 2 2 2) och att u=(3 3 3 3). Jag ställer då upp matrisekvationen AX=B där A består av (v1)^t och (v2)^t, X=(x, y)^t och B=u^t.

Denna ekvation är olösbar så jag ställer upp normalekvationen och löser ut X. När jag sedan, med mitt kända X, utför mltiplikationen AX, vad får jag då? Får jag verkligen den vektor i W som har det minsta avståndet till vektorn u? Jag tycker det verkar så när jag löser uppgifter, men kan inte förstå varför det funkar.

Ja. Minstakvadratmetoden kommer alltså ge dig en vektor X så att

((AX)_1 - B_1)² + ... + ((AX)_4 - B_4)²

är så litet som möjligt. Men om du tänker efter så är detta uttryck, enligt Pythagoras, precis kvadraten av avståndet från B till AX, så det är det du minimerar.

Om du tänker vidare ser du att AX = x(v1)^t + y(v2)^t, så för olika x och y parametriserar detta precis det linjära höljet W till {v1, v2}. Så när X varierar så tar AX alla värden i W.

Så vi minimerar över olika (x, y), ett uttryck som anger (kvadraten av) avståndet mellan AX och B. Det vill säga, vi minimerar över alla AX i W avståndet mellan AX och B. Så när vi har gjort det, kommer då förstås AX vara punkten på W närmast B.

Problemet är att minimera ||B-AX|| genom att finna lämpligt X. Vi vill nu visa att minstakvadratlösningen AX=B sammanfaller med lösningar till normalekvationen AᵀAX=AᵀB. Vi definierar en minstakvadratlösning som ett X₀ som ger ||B-AX₀|| ≤ ||B-AX|| för alla X.

Att AX = B är olösbar är likvärdigt med att B ∉ Col(A), där Col(A) alltså anger kolonnrummet av A. Enligt 'bästa approximations'-satsen (vet du vilken sats jag menar?) följer att den närmsta punkten på Col(A) till B = ortogonalprojektionen av B på Col(A) = B₀.

Eftersom B₀ ∈ Col(A) följer att AX=B₀ har lösningar. Då B₀ är den närmsta punkten från Col(A) till B gäller att X₀ är en minstakvadratlösning till AX=B endast om AX₀=B₀. Antag att AX₀=B₀. Enligt 'orthogonal decomposition' (vad nu det kan heta på svenska) gäller att B-B₀ är ortogonal mot Col(A), alltså gäller att B-AX₀ är ortogonal mot varje kolonn från A.

Låt nu aᵢ vara godtycklig kolonn från A. Enligt ovan gäller aᵢ · (B-AX₀) = 0 och således aᵢᵀ(B-AX₀) = 0. Eftersom aᵢᵀ är godtycklig rad från Aᵀ gäller alltså Aᵀ(B-AX₀)=0.

Detta är detsamma som AᵀB-AᵀAX₀=0 ⇒ AᵀAX₀ = AᵀB. Jag hoppas jag inte råkat stöta på nåt fel på vägen.

Tack för era svar! Har inte kommit till kolonnrum än men jag ska definitivt komma ihåg att läsa igenom det du skrev senare, när jag är bekant med alla begrepp.