我想請教一個關於 $T$-invariant subspaces 的結構性問題。

我上學期有同時修一堂統計學，該課程也有提到 Simple linear regression

它假設 \( \varepsilon_i \overset{i.i.d.}\sim \mathcal{N}(0, \sigma ^2)\) 且 \(Y_i\) 與 \(x_i\) 有如下關係
\[ Y_i=\alpha+\beta x_i+\varepsilon_i\]

從而 \( Y_i=\alpha_0+\beta (x_i-\bar{x}) +\varepsilon_i\) (其中 \(\alpha_0=\alpha+\beta\bar{x}\) )

因為 \( Y_i \sim \mathcal{N}(\alpha_0+\beta (x_i-\bar{x}), \sigma ^2)\)

可以直接使用 MLE 來得到 \( \alpha_0,\ \beta\) 的估計：

令 \( \theta = (\alpha_0,\ \beta,\ \sigma^2)\)

老師說w

考慮二維資料 $\{(x_1,y_1),\dots,(x_n,y_n)\}$。設 $y=mx+c$ 為其迴歸直線且 $y_i'=mx_i+c$,\\
   $\forall\,i=1,\dots,n$。令
   \begin{equation*}
       \textbf{x}=(x_1,\dots,x_n), \textbf{y}=(y_1,\dots,y_n),\textbf{y'}=(y_1',\dots,y_n'),\textbf{e}=(1,\dots,1)\in\mathbb{R}^n 
   \end{equation*}

(a) （1分）設 $W=$Span$(\textbf{e},\textbf{x})$ 請利用 Gram-Schmidt Process 從 $\mathbf{e}$ 開始，寫下 $W$ 的一組 orthogonal basis。

給定 $m<n$，假設 $\mathbf{w}_1,\dots,\mathbf{w}_m\in\mathbb{R}^n$ 為 linearly independent。令 $m\times n$ 矩陣 $A$ 的 row vectors 依序為 $\mathbf{w}_1,\dots,\mathbf{w}_m$。若 $\mathbf{u}_1,\dots,\mathbf{u}_k\in\mathbb{R}^l$ 為 $N(A)$ 的一組 basis。令矩陣 $B$ 的 row vectors 依序為 $\mathbf{u}_1,\dots,\mathbf{u}_k$。

(a) （2分）請利用 $m,n$ 寫下 $k,l$ 的值並說明矩陣 $B$ 的階數（不是＂尺寸＂）

(b) （1分）證明 $\textbf{w}_1,\dots,\textbf{w}_m$ 為 $N(B)$ 的 basis。

考慮二維資料 $\{(-1,2),(1,3),(1,4)\}$，請利用 least squares 的方法分別找到所要求最接近函數。
(a) （1分）常數函數。

(b) （2分）一次函數。

(c) （3分）我們想用找 minimal least squares solution 的方法找到二次函數 $y=ax^2+c$，其中 $a^2+c^2$ 是最小的。請寫下 $a,c$ 所需符合的 normal equation，並直接利用 $A^tAA^t\mathbf{x}=A^t\mathbf{b}$ 的方法找到 minimal least squares solution。

在 $\mathbb{R}^4$ 中考慮 dot product. 令 $W=\{(a,b,c,d):a+b-c=0\}$ 以及 $\mathbf{v}=(0,4,-2,2)$.
(a) （1分）找到矩陣 $A$ 使得 $W=N(A)$, 並依此找到 $W$ 的一組 basis。

(b) （3分）利用 (a) 找到的 basis 以及 Gram-Schmidt Process 找到 $W$ 的一組 orthogonal basis。

(c) （2分）利用 (b) 找到的 orthogonal basis 求 $\mathbf{v}$ 在 $W$ 的 orthogonal projection。

(d) （3分）利用 (a) 找到的 basis 依序寫成矩陣  $B$ 的 column vectors，並寫下 $B$ 的 QR decomposition。

(e) （2分）利用 QR decomposition 寫下對 $W$ 的投影矩陣。

考慮有限維的 inner product space $V$，對任意 $V$ 中的 subset(子集合) $S$ 定義
   \begin{equation*}
       S^{\perp}=\{\textbf{v}\in V|<\textbf{v},\textbf{s}>=0,\,\forall\,\textbf{s}\in S\}
   \end{equation*}

(a) （1分）假設 $S_1\subseteq S_2$ 皆為 $V$ 的 subset, 證明 $S_2^{\perp}\subseteq S_1^{\perp}$.

(b) （2分）假設 $S_1,S_2$ 皆為 $V$ 的 subset,證明 $(S_1\cup S_2)^{\perp}=S_1^{\perp}\cap S_2^{\perp}$.

（1分）假設 $A\in M_{m\times n}$ 且 $\mathbf{v_1},\dots,\mathbf{v_k}\in\mathbb{R}^n$。證明若 $A\mathbf{v_1},\dots,A\mathbf{v_k}$ 為 linearly independet，則 $\mathbf{v_1},\dots,\mathbf{v_k}$ 為 linearly independet

考慮 $\mathbb{R}^4$ 中的 subspace $U,W$，其中 $\mathbf{u_1}=(1,0,0,-1),\mathbf{u_2}=(0,1,0,-1),\mathbf{u_3=(0,0,1,1)}$ 為 $U$ 的一組 basis 且 $\mathbf{w_1}=(1,0,-1,0),\mathbf{w_2}=(0,1,-1,0),\mathbf{w_3}=(0,0,0,1)$ 為 $W$ 的一組 basis。

令矩陣 $A$ 為將 $U,W$ 的這兩組 basis 依序寫成 row vector 所成的矩陣，而矩陣 $B$ 為將他們依序寫成 column vector 所成的矩陣。已知將 $A,B$ 化成 reduced echelon form 分別為