MatNoble
MatNoble

Gram 矩阵详解：定义、构造及其 6 大核心性质 | 线代拾遗

Gram 矩阵

假设 AA 是一个 m×nm\times n 阶矩阵,

  1. 列向量 Gram 矩阵
    AA 由列向量 αi\mathbf{\alpha}_i 表示, 即 A=[α1α2⋯αn]A=\begin{bmatrix}\mathbf{\alpha}_1 & \mathbf{\alpha}_2 &\cdots & \mathbf{\alpha}_n \end{bmatrix} 则
G=,ATA=[α1Tα2T⋮αnT][α1α2⋯αn]=[α1Tα1α1Tα2⋯α1Tαnα2Tα1α2Tα2⋯α2Tαn⋮⋮⋮αnTα1αnTα2⋯αnTαn] \begin{aligned} G &= \\, A^{\mathsf T}A \\\\[3pt] &= \begin{bmatrix} \mathbf{\alpha}_1^{\mathsf T} \\\\ \mathbf{\alpha}_2^{\mathsf T} \\\\ \vdots \\\\ \mathbf{\alpha}_n^{\mathsf T} \end{bmatrix} \begin{bmatrix} \mathbf{\alpha}_1 & \mathbf{\alpha}_2 & \cdots & \mathbf{\alpha}_n \end{bmatrix} \\\\[3pt] & = \begin{bmatrix} \mathbf{\alpha}_1^{\mathsf T}\mathbf{\alpha}_1 & \mathbf{\alpha}_1^{\mathsf T}\mathbf{\alpha}_2 & \cdots & \mathbf{\alpha}_1^{\mathsf T}\mathbf{\alpha}_n \\\\ \mathbf{\alpha}_2^{\mathsf T}\mathbf{\alpha}_1 & \mathbf{\alpha}_2^{\mathsf T}\mathbf{\alpha}_2 & \cdots &\mathbf{\alpha}_2^{\mathsf T}\mathbf{\alpha}_n \\\\ \vdots & \vdots & & \vdots \\\\ \mathbf{\alpha}_n^{\mathsf T}\mathbf{\alpha}_1 & \mathbf{\alpha}_n^{\mathsf T}\mathbf{\alpha}_2 & \cdots & \mathbf{\alpha}_n^{\mathsf T}\mathbf{\alpha}_n \end{bmatrix} \end{aligned}
  1. 行向量 Gram 矩阵
    AA 由行向量 βiT\mathbf{\beta}_i^{\mathsf T} 表示, 即 A=[β1Tβ2T⋮βmT]A=\begin{bmatrix}\mathbf{\beta}_1^{\mathsf T} \\\\ \mathbf{\beta}_2^{\mathsf T} \\\\ \vdots \\\\ \mathbf{\beta}_m^{\mathsf T} \end{bmatrix} 则
G=,AAT=[β1Tβ2T⋮βmT][β1β2⋯βm]=[β1Tβ1β1Tβ2⋯β1Tβmβ2Tβ1β2Tβ2⋯β2Tβm⋮⋮⋮βmTβ1βmTβ2⋯βmTβm] \begin{aligned} G &= \\, AA^{\mathsf T} \\\\[3pt] &= \begin{bmatrix}\mathbf{\beta}_1^{\mathsf T} \\\\ \mathbf{\beta}_2^{\mathsf T} \\\\ \vdots \\\\ \mathbf{\beta}_m^{\mathsf T} \end{bmatrix} \begin{bmatrix} \mathbf{\beta}_1 & \mathbf{\beta}_2 & \cdots & \mathbf{\beta}_m \end{bmatrix} \\\\[3pt] & = \begin{bmatrix} \mathbf{\beta}_1^{\mathsf T}\mathbf{\beta}_1 & \mathbf{\beta}_1^{\mathsf T}\mathbf{\beta}_2 & \cdots & \mathbf{\beta}_1^{\mathsf T}\mathbf{\beta}_m \\\\ \mathbf{\beta}_2^{\mathsf T}\mathbf{\beta}_1 & \mathbf{\beta}_2^{\mathsf T}\mathbf{\beta}_2 & \cdots &\mathbf{\beta}_2^{\mathsf T}\mathbf{\beta}_m \\\\ \vdots & \vdots & & \vdots \\\\ \mathbf{\beta}_m^{\mathsf T}\mathbf{\beta}_1 & \mathbf{\beta}_m^{\mathsf T}\mathbf{\beta}_2 & \cdots & \mathbf{\beta}_m^{\mathsf T}\mathbf{\beta}_m \end{bmatrix} \end{aligned}

6 大性质

下面只考虑列向量 Gram 矩阵

(1) G=ATAG = A^{\mathsf T}A 是对称矩阵

GT=(ATA)T=ATA=G G^{\mathsf T } = (A^{\mathsf T}A)^{\mathsf T} = A^{\mathsf T}A = G

(2) 对于实矩阵 AA

rank(ATA)=rank(A)\mathrm{rank} (A^{\mathsf T}A) = \mathrm{rank} (A)

证明

{Ax=0ATAx=0 \begin{cases} A\mathsf{x} = 0 \\\\[3pt] A^{\mathsf T}A\mathbf{x} = 0 \end{cases}

同解即可.

证明过程详见经典例题(第３小问)


(3) 若 ATA=0A^{\mathsf T}A=0, 则 A=0A = 0

由上面性质

rank(ATA)=rank(A)=rank (0)=0\begin{aligned} \mathrm{rank} (A^{\mathsf T}A) &= \mathrm{rank} (A) \\\\ &= \mathrm{rank} \ (0) = 0 \end{aligned}

(4) 对于实矩阵 AA, 则 ATAA^{\mathsf T}A 是半正定矩阵

xTATAx=(Ax)TAx≥0 \mathbf{x}^{\mathsf T}A^{\mathsf T}A\mathbf{x} = (A\mathbf{x})^{\mathsf T}A\mathbf{x} \geq 0

(5) 对于任意 nn 阶实对称半正定矩阵 MM, 存在矩阵 AA 使得 M=ATAM=A^{\mathsf T}A 成立.

因为矩阵 MM 实对称, 所以 MM 可以正交对角化, 即

M=QΛQTM = Q\Lambda Q^{\mathsf T}

又因为矩阵 MM 半正定, 所以其特征值 λ_i≥0\lambda\_i \geq 0 , 所以可记

Λ12=diag(λ1,…,λn) \Lambda^{\frac{1}{2}} = \mathrm{diag} (\sqrt{\lambda_1}, \dots, \sqrt{\lambda_n})

且

A=Λ12QT A=\Lambda^{\frac{1}{2}}Q^{\mathsf T}

则可得

M=QΛQT=(Λ12QT)TΛ12QT=ATA\begin{aligned} M &= Q\Lambda Q^{\mathsf T} \\\\[3pt] &= (\Lambda^{\frac{1}{2}}Q^{\mathsf T})^{\mathsf T}\Lambda^{\frac{1}{2}}Q^{\mathsf T} \\\\[3pt] &= A^{\mathsf T}A \end{aligned}

(6) 若 A=[α_1,α_2,⋯ ,αn]A=\left[ \mathbf{\alpha}\_1 , \mathbf{\alpha}\_2 , \cdots , \mathbf{\alpha}_n \right] 列满秩, 则 ATAA^{\mathsf T}A 正定

  • 由性质 (2), 知 rank(ATA)=rank(A)=n\mathrm{rank} (A^{\mathsf T}A) = \mathrm{rank} (A) = n
  • 因为 Ax=0A\mathbf{x}=0 只有零解, 结合性质 (4), 对于非零 x∈Rn\mathbf{x}\in \mathbb{R}^n xTATAx=(Ax)TAx>0 \mathbf{x}^{\mathsf T}A^{\mathsf T}A\mathbf{x} = (A\mathbf{x})^{\mathsf T}A\mathbf{x} > 0