奇异值分解初探

知识回顾

在矩阵的四个基本空间, 不了解下吗? 中, 介绍了实矩阵的四个基本空间的正交关系

\begin{cases} C(A^{\mathsf T}) = N(A)^{\perp} \\\\[3pt] C(A) = N(A^{\mathsf T})^{\perp} \end{cases}

即

行空间是零空间的正交补;
列空间是左零空间的正交补.

在四个基本空间中, 通过 初等行变换 得到了它们的普通基底, 这一次首先讨论其正交基底.

正交基底

假设有 $m\times n$ 阶实矩阵 $A$

{\rm rank}(A) = r \leq \max\{m, n \}

考虑列向量 Gram 矩阵 $A^{\mathsf T}A$ , 由于其是对称矩阵, 所以可以正交单位对角化

A^{\mathsf T}A = V^{\mathsf T}\begin{bmatrix} \sigma_1^2 & 0 & \cdots & 0 \\\\ 0 & \sigma_2^2 & \cdots & 0 \\\\ \vdots & \vdots & \ddots & \vdots \\\\ 0 & 0 & \vdots & \sigma_n^2 \end{bmatrix}V

不妨设 $\sigma_i \geq 0$ , $V=[v_1, v_2, \cdots, v_n]$

\begin{equation} A^{\mathsf T}A v_i = \sigma_i^2 v_i \quad i = 1, 2, \cdots, n \label{eq:eq1} \end{equation}

其中, $\sigma_i^2$ 是列向量 Gram 矩阵 $A^{\mathsf T}A$ 的特征值, $v_i$ 是 $A^{\mathsf T}A$ 对应于 $\sigma_i^2$ 的单位特征向量, 即 $V$ 的列向量是 $\mathbb{R}^n$ 的一组标准正交基, 因此

\lVert Av_i \rVert = v_i^{\mathsf T} A^{\mathsf T} A v_i = \sigma_i^2 v_i^{\mathsf T} v_i = \sigma_i^2

又因为 ${\rm rank}(A^{\mathsf T}A) = {\rm rank}(A) = r$ , 不妨设

\sigma_1 \geq \sigma_2 \geq \cdots \sigma_r > 0

并且,

\sigma_{r+1} = \cdots = \sigma_n = 0

所以,

\lVert Av_i \rVert = \sigma_i^2 = 0 \quad i = r+1, \cdots , n

即 $Av_i = 0, i = r+1, \cdots , n$

\{ v_{r+1}, \cdots, v_n \} \subset N(A) = N(A^{\mathsf T}A)

又因为 $\dim N(A) = n-r$ , 所以 $\{ v_{r+1}, \cdots, v_n \}$ 是 $N(A)$ 的一组标准正交基,

又因为 $C(A^{\mathsf T}) = N(A)^{\perp}$ , 所以 $\{ v_{1}, \cdots, v_r \}$ 是 $C(A^{\mathsf T})$ 的一组标准正交基.

对式(\ref{eq:eq1})左右同乘 $A$

AA^{\mathsf T}A v_i = \sigma_i^2 Av_i \quad i = 1, 2, \cdots, n

其中, $\sigma_i^2, i=1, \cdots, r$ 是行向量 Gram 矩阵 $AA^{\mathsf T}$ 的非零特征值, $Av_i$ 是 $AA^{\mathsf T}$ 相应于 $\sigma_i$ 的特征向量.

令 $u_i = \frac{Av_i}{\sigma_i}, i = 1, \cdots, r$ , 则

\begin{aligned} u_i^{\mathsf T}u_j & = \left(\frac{Av_i}{\sigma_i} \right)^{\mathsf T} \frac{Av_j}{\sigma_j} = \frac{ v_i^{\mathsf T} A^{\mathsf T} A v_j }{\sigma_i \sigma_j} \\\\[3pt] & = \frac{ \sigma_i \sigma_j v_i^{\mathsf T} v_j }{\sigma_i \sigma_j} = \begin{cases} 1 \quad i=j \\\\[3pt] 0 \quad i \neq j \end{cases} \end{aligned}

所以, $\{ u_1, \cdots u_r \}$ 是单位正交向量组, 继而是 $C(A)$ 的一组标准正交基.

接下来, 扩充单位正交向量 $\{ u_{r+1}, \cdots u_m \}$ , 使得 $\{ u_1, \cdots u_r, u_{r+1}, \cdots, u_m \}$ 成为 $\mathbb{R}^m$ 的标准正交基. 因为 $C(A) = N(A^{\mathsf T})^{\perp}$ , 所以, $\{ u_{r+1}, \cdots u_m \}$ 是 $N(A^{\mathsf T})$ 的一组标准正交基.

综上, 理论上得到了实矩阵 $A$ 的四个基本空间各自的正交基.

$\{ v_{1}, \cdots, v_r \}$ 是行空间 $C(A^{\mathsf T})$ 的正交基底;
$\{ v_{r+1}, \cdots, v_n \}$ 是零空间 $N(A)$ 的正交基底;
$\{ u_1, \cdots u_r \}$ 是列空间 $C(A)$ 的正交基底;
$\{ u_{r+1}, \cdots u_m \}$ 是左零空间 $N(A^{\mathsf T})$ 的正交基底.

以上运用了一些前几次证明过的结论:

秩
$\begin{aligned} r &= \hbox{rank}A=\hbox{rank}A^{\mathsf T} \\\\[3pt] &=\hbox{rank}(A^{\mathsf T}A)=\hbox{rank}(AA^{\mathsf T}) \end{aligned}$
列空间
$\begin{cases} C(A^{\mathsf T})=C(A^{\mathsf T}A) \\\\[3pt] C(A)=C(AA^{\mathsf T}) \end{cases}$
零空间
$\begin{cases} N(A)=N(A^{\mathsf T}A) \\\\[3pt] N(A^{\mathsf T})=N(AA^{\mathsf T}) \end{cases}$

以及一些结论:

$A^{\mathsf T}A$ 的特征值为 $\sigma_1^2,\cdots,\sigma_n^2$ , 对应单位正交的特征向量 $v_1, \cdots, v_n$
$AA^{\mathsf T}$ 的特征值为 $\sigma_1^2,\cdots,\sigma_m^2$ ，对应单位正交的特征向量 $u_1, \cdots, u_m$
$Av_i=\sigma_iu_i, \sigma_i>0, i=1, \cdots, r$ , 且 $Av_i=0, i=r+1, \cdots, n$
$A^{\mathsf T}u_j=\sigma_jv_j, \sigma_j>0, j=1, \cdots, r$ , 且 $A^{\mathsf T}u_j=0, j=r+1, \cdots, m$

特征值分解简介

经过以上过程, 可以将任意 $m\times n$ 阶矩阵 $A$ 分解为 $\{ u_i\}, \{ v_i\}, \{\sigma_i\}$ 构成的三个矩阵的乘积

A = U\Sigma V^{\mathsf T}

这就是奇异值分解(singular value decomposition), 简称 SVD.

更多..奇异值分解..的内容可以戳这里