\[
A = U\Sigma V^T
\]

\[
V = [\vec{v}_1 \ \cdots \ \vec{v}_n]
\]

\[
\Sigma =
\begin{bmatrix}
\sigma_1 & \cdots & 0 \\
0 & \ddots & 0 \\
0 & \cdots & \sigma_r \\
0 & \cdots & 0
\end{bmatrix},
\qquad
\sigma_1 \ge \sigma_2 \ge \cdots \ge \sigma_r > 0
\]

\[
\vec{v}_i \in \{\vec{v}_1, \vec{v}_2, \ldots, \vec{v}_r\},
\qquad
\vec{u}_i \in \{\vec{u}_1, \ldots, \vec{u}_r\}
\]

\[
A\vec{v}_i = \sigma_i \vec{u}_i
\]

\[
\vec{v}_j \in \{\vec{v}_{r+1}, \cdots, \vec{v}_n\}
\]

\[
A\vec{v}_j = \vec{0}
\]

\[
\|A\vec{v}_i\|
= \|\sigma_i \vec{u}_i\|
= \sigma_i\|\vec{u}_i\|
= \sigma_i\|\vec{v}_i\|
\le \sigma_1\|\vec{v}_i\|
\]

\(\vec{v}_i\)和\(\vec{u}_i\)分别是 \(\mathbb{R}^n \) 和 \(\mathbb{R}^m \)
一組 orthonormal basis 的其中一個元素
故長度結果為 1

好像只講了orthonormal basis的特例

\[
\text{設 } \vec{v} = c_1 \vec{v}_1 + c_2 \vec{v}_2 + \cdots + c_n \vec{v}_n
\]

\[
A\vec{v}_i = \sigma_i \vec{u}_i \qquad (1 \leq i \leq r)
\]

\[
i > r,\ A\vec{v}_i = 0，故
\]

\[
A\vec{v} = \sum_{i=1}^{r} c_i \sigma_i \vec{u}_i
\]

\[
\begin{aligned}
\|A\vec{v}\|^2
&= \left\| \sum_{i=1}^{r} c_i \sigma_i \vec{u}_i \right\|^2 \\
&= \left\langle \sum_{i=1}^{r} c_i \sigma_i \vec{u}_i,\ \sum_{i=1}^{r} c_i \sigma_i \vec{u}_i \right\rangle(\because \vec{u}_i \text{ 是 } \mathbb{R}^n \text{ 的一組 orthonormal basis 的一個元素}) \\
&= \sum_{i=1}^{r} \sigma_i^2 c_i^2 \\
&\leq \sigma_1^2 \sum_{i=1}^{r} c_i^2 \\
&\leq \sigma_1^2 \sum_{i=1}^{n} c_i^2
\end{aligned}
\]

\[
\qquad \sigma_i \leq \sigma_1
\]

\[
\|\vec{v}\|^2
= \left\langle \sum_{i=1}^{n} c_i \vec{v}_i,\ \sum_{i=1}^{n} c_i \vec{v}_i \right\rangle(\because \vec{v}_i \text{ 是 } \mathbb{R}^n \text{ 的一組 orthonormal basis 的一個元素})
= \sum_{i=1}^{n} c_i^2
\]

\[
\qquad r \leq n
\]

\[
\text{故 } \|A\vec{v}\|^2 \leq \sigma_1^2 \|\vec{v}\|^2
\]

\[
\|A\vec{v}\| \leq \sigma_1 \|\vec{v}\|
\]

\[
A\vec{v} = \lambda \vec{v}
\]

\[
\|A\vec{v}\|
= \|\lambda \vec{v}\|
= |\lambda| \, \|\vec{v}\|
\leq \sigma_1 \|\vec{v}\|
\]

\[
\text{由①得}
\]

\[
|\lambda| \leq \sigma_1
\]

不清楚在問什麼？為什麼問了問題又自問自答？小題(1)的參考答案要注意 $A$ 是 $m\times n$ matrix，$A$ 的 svd 中的 $U$, $V$ 理應是由不同的 vector space 的 orthonormal basis 所形成。這小題的論證可以直接套用過去 inner product space 的結果，也就是若 $\mathbf{w}_1,\dots,\mathbf{w}_k$ 為 inner product space $W$ 中的一組 orthonormal basis，則對任意 $\mathbf{w}=\sum_{i=1}^kc_i\mathbf{w}_i\in W$，皆有 $\|\mathbf{w}\|=\sqrt{\sum_{i=1}^kc_i^2}$。