Lineární regrese potřetí jinak

Úkol: Nalezněte ,,co nejlepší'' řešení soustavy

\begin{displaymath}
\left(
\begin{array}{cc}
x_0 & 1 \\
x_1 & 1 \\
\vdots & \v...
...
f(x_0) \\
f(x_1) \\
\vdots \\
f(x_n)
\end{array}\right)\,,
\end{displaymath}

kde jsou $ x_0,\ldots,x_n$ po dvojicích různá čísla (pro jednoduchost berme vše v reálných číslech) a $ f(x_0),\ldots,f(x_n)$ libovolná reálná čísla. Rozmyslete si, jak může být vhodné definovat ,,co nejlepší'' řešení soustavy; nechte se inspirovat příkladem 5.7, který se zabývá lineární regresí metodou nejmenších čtverců.


Řešení: Zavedeme označení, ve kterém má právě uvedená soustava tvar $ A\vec{c}=\vec{f}$. Pokud nemáme neobvyklé štěstí a rovnice nejsou az na dvě (resp. jednu) lineárně závislé, pak soustava nemá řešení. Jinak: pravá strana nelezí v sloupcovém prostoru matice $ A$. Místo neexistujícího řešení budeme hledat řešení rovnice $ A\vec{c}=\vec{f}\,^\bot$, kde $ \vec{f}\,^\bot$ značí projekci pravé strany do sloupcového prostoru matice $ A$. Protoze se jedná o kolmou projekci, musí platit $ \vec{f} - \vec{f}\,^\bot \bot \
\mathcal{S}(A)$, kde $ \mathcal{S}(A)$ značí sloupcový prostor matice $ A$. Uvedenou podmínku kolmosti zapíšeme v řeči matic jako $ A^T(\vec{f} - \vec{f}\,^\bot)=0$. Pak lze psát

$\displaystyle A\vec{c}$ $\displaystyle =$ $\displaystyle \vec{f}\,^\bot$  
$\displaystyle A^TA\vec{c}$ $\displaystyle =$ $\displaystyle A^T\vec{f}\,^\bot$  
$\displaystyle A^TA\vec{c}$ $\displaystyle =$ $\displaystyle A^T\vec{f}\,.$ (180)

Místo původního problému $ A\vec{c}=\vec{f}$ budeme tedy řešit (180), viz také příklad 18.3. V našem případě je matice $ A^T A$ invertibilní (viz vztah 181), a proto

$\displaystyle \vec{c}=\left(A^TA\right)^{-1}\hskip-2mm A^T\vec{f}\,.
$

Matice na pravé straně, $ A^\neg=\left(A^TA\right)^{-1}A^T$, se definuje jako pseudoinverze matice $ A$, a lze ji tedy chápat jako určitou ,,náhradu'' inverzní matice tam, kde $ A^{-1}$ neexistuje, konkrétně pro obdélníkové matice $ m\times n$, $ m<n$, plné hodnosti, tedy $ m$ (to je tehdy, když je matice $ A^T A$ regulární). V případě $ m=n$ splývá pseudoinverze s obvyklou inverzí (ověřte).

Pseudoinverzi nebudeme v našem případě explicitně počítat, pouze vyčíslíme výrazy na obou stranách rovnice (180):

$\displaystyle A^T A= \left( \begin{array}{cccc} x_0 & x_1 & \cdots & x_n \\ 1 &...
...m \limits _{i=0} ^n x_i \\ \sum \limits _{i=0} ^n x_i & n+1 \end{array} \right)$ (181)

\begin{displaymath}
A^{T}\vec{f}=
\left(
\begin{array}{cccc}
x_0 & x_1 & \cdots ...
...(x_i)x_i \\
\sum \limits _{i=0} ^n f(x_i)
\end{array}\right).
\end{displaymath}

Rovnice (180) pro neznámé $ a,b$ je tedy

\begin{displaymath}
\left(
\begin{array}{cc}
\sum \limits _{i=0} ^n {x_i}^2 & \s...
...(x_i)x_i \\
\sum \limits _{i=0} ^n f(x_i)
\end{array}\right),
\end{displaymath}

coz je stejná soustava jako v úloze 5.7. Objevili jsme tedy alternativní formulaci problému aproximace metodou nejmenších čtverců.

$ \ast$VP$ \ast$