[线性代数] - 投影

简介

投影是从向量空间映射到自身的一种线性变换$P$，满足$P^2 = P$，就是说，当$P$两次作用于某个值，与作用一次得到的结果相同。

投影 - 定理一

$P$是投影$\Leftrightarrow P^2 = P$

证明$(\Rightarrow)$

取$\forall \mathbf{x} \in C(P),\ \exists \mathbf{y} \in \mathbb{C}^n$，使得

$\mathbf{x} = P\mathbf{y}$

可以得到

$\begin{cases} P\mathbf{x} = P^2\mathbf{y} = P(P\mathbf{y}) \\ P\mathbf{x} = \mathbf{x} = P\mathbf{y} \end{cases} \Rightarrow \color{red}{P^2 = P}$

证明$(\Leftarrow)$

取$\forall \mathbf{x} \in C(P),\ \exists \mathbf{y} \in \mathbb{C}^n$，使得

$\mathbf{x} = P\mathbf{y}$

可以得到

$P\mathbf{x} = P^2\mathbf{y} = P\mathbf{y} = \mathbf{x} \Rightarrow \color{red}{P\mathbf{x} = \mathbf{x}}$

投影 - 定理二

令空间$\mathbf{W} = C(P) \oplus N(P)$，取$\mathbf{x} \in C(P),\ \mathbf{y} \in N(P)$，对于$\forall \mathbf{z} \in W$，都可以唯一分解为$\mathbf{z} = \mathbf{x} + \mathbf{y}$

证明：

设$\mathbf{z} = (P + I - P)\mathbf{z}$，令

$\begin{aligned} \mathbf{x} &= P\mathbf{z} \\ \mathbf{y} &= (I - P)\mathbf{z} \end{aligned}$

其中$\mathbf{x} \in C(P)$，把第二个式子两边同乘$P$

$P\mathbf{y} = P(I - P)\mathbf{z} = (P - P^2)\mathbf{z} = 0$

即$\mathbf{y} \in N(P)$，就得到

$\color{red}{W = C(P) + N(P)}$

设$a \in C(P) \cap N(P)$，即

$\begin{aligned} \mathbf{a} \in C(P) \\ \mathbf{a} \in N(P) \end{aligned} \Rightarrow \begin{aligned} \mathbf{a} = P\mathbf{a} \\ P\mathbf{a} = 0 \end{aligned}$

可得

$\mathbf{a} = P\mathbf{a} = 0$

所以

$\color{red}{C(P) \cap N(P) = \{0\}}$

正交补空间

与子空间$\mathbf{S}$的所有向量都正交的集合，称为$\mathbf{S}$的正交补空间，记作$\mathbf{S}^\perp$

$\mathbf{S}^\perp = \{\mathbf{x} | \mathbf{x}^T\mathbf{y} = 0,\ \forall \mathbf{y} \in \mathbf{S}\}$

子空间与他的正交补$\mathbf{S}^\perp$的维数满足关系式

$dim(\mathbf{S}) + dim(\mathbf{S}^\perp) = dim(\mathbf{V})$

正交投影

正交投影指的是当$C(P)$与$N(P)$这两个子空间互相垂直的时候的投影$P$，即

$\begin{aligned} \forall \mathbb{x} \in C(P) \\ \forall \mathbb{y} \in N(P) \end{aligned} \Rightarrow \mathbb{x}^T\mathbb{y} = 0$

也就是说$C(P)$的正交补是$N(P)$

正交投影 - 定理一

$P$是正交投影$\Leftrightarrow \begin{cases} P^2 = P \\\\ P = P^T \end{cases}$，就是

$\begin{cases} P^2 = P \\ P = P^T \end{cases} \Leftrightarrow \begin{aligned} &\forall \mathbb{x} \in C(P),\ P\mathbb{x} = \mathbb{x} \\ &\forall \mathbb{x} \in \mathbb{C}^n,\ (\mathbb{x} - P\mathbb{x}) \in C(P)^\perp \end{aligned}$

其中$P^2 = P$是投影的性质已经在上面证明，下面给出$P = P^T$的证明

证明$(\Rightarrow)$

取$\forall \mathbf{x} \in C(P)$使得

$\mathbf{x} - P\mathbf{x} \in C(P)^\perp$

那么对$\forall \mathbb{y} \in \mathbb{C}^n$，有

$\mathbf{x} - P\mathbf{x} \perp P\mathbf{y}$

即

$\begin{aligned} (P\mathbf{y})^T(\mathbf{x} - P\mathbf{x}) &= \mathbf{y}^TP^T(\mathbf{x} - P\mathbf{x}) \\ &= \mathbf{y}^T(P^T\mathbf{x} - P^TP\mathbf{x}) \\ &= \mathbf{y}^T(P^T - P^TP)\mathbf{x} \end{aligned}$

其中$\mathbf{x}, \mathbf{y}$是任意向量，即

$\begin{aligned} P^T - P^TP &= 0 \\ P^T &= P^TP \\ (P^T)^T &= (P^TP)^T \\ P &= P^TP = P^T \\ &\downarrow \\ \color{red}{P} &\color{red}{=} \color{red}{P^T} \end{aligned}$

证明$(\Leftarrow)$

取$\forall \mathbf{x} \in C(A),\ \forall \mathbf{y} \in N(A)$，即

$\begin{aligned} P\mathbf{x} &= \mathbf{x} \\ P\mathbf{y} &= 0 \end{aligned}$

计算

$\begin{aligned} \mathbf{x}^T\mathbf{y} = (P\mathbf{x})^T\mathbf{y} = \mathbf{x}^T&P^T\mathbf{y} = \mathbf{x}^T(P\mathbf{y)} = 0 \\ &\downarrow \\ \mathbf{x} \perp \mathbf{y} &\rightarrow \color{red}{C(A) \perp N(A)} \end{aligned}$

正交投影 - 定理二

设$\mathbf{A}$是$m \times n$的矩阵，则有定理

$P = \mathbf{A}(\mathbf{A}^T\mathbf{A})^{-1}\mathbf{A}^T \Leftrightarrow P\text{是正交投影}$

证明$(\Rightarrow)$

$\begin{aligned} P^2 &= (\mathbf{A}(\mathbf{A}^T\mathbf{A})^{-1}\mathbf{A}^T)^2 \\ &= (\mathbf{A}(\mathbf{A}^T\mathbf{A})^{-1}\mathbf{A}^T)^T(\mathbf{A}(\mathbf{A}^T\mathbf{A})^{-1}\mathbf{A}^T) \\ &= (\mathbf{A}(\mathbf{A}^T\mathbf{A})^{-1}\mathbf{A}^T)(\mathbf{A}(\mathbf{A}^T\mathbf{A})^{-1}\mathbf{A}^T) \\ &= \mathbf{A}(\mathbf{A}^T\mathbf{A})^{-1}(\mathbf{A}^T\mathbf{A})(\mathbf{A}^T\mathbf{A})^{-1}\mathbf{A}^T \\ &= \mathbf{A}(\mathbf{A}^T\mathbf{A})^{-1}\mathbf{A}^T \\ &= P \\ \\ P^T &= (\mathbf{A}(\mathbf{A}^T\mathbf{A})^{-1}\mathbf{A}^T)^T \\ &= \mathbf{A}(\mathbf{A}^T\mathbf{A})^{-1}\mathbf{A}^T \\ &= P \end{aligned}$

因为

$\begin{aligned} P = P^2 \\ P = P^T \end{aligned}$

所以$P$是正交投影矩阵

证明$(\Leftarrow)$

设$\mathbf{x} \in \mathbb{C}^n,\ \exists \mathbf{c} \in C(A)$，使得

$P\mathbf{x} = \mathbf{A}\mathbf{c}$

两边同乘$\mathbf{A}^T$，得

$\begin{aligned} \mathbf{A}^TP\mathbf{x} &= \mathbf{A}^T\mathbf{A}\mathbf{c} \\ \mathbf{c} &= (\mathbf{A}^T\mathbf{A})^{-1}\mathbf{A}^TP\mathbf{x} \end{aligned}$

两边同乘$\mathbf{A}$，得

$\mathbf{A}\mathbf{c} = P\mathbf{x} = \mathbf{A}(\mathbf{A}^T\mathbf{A})^{-1}\mathbf{A}^TP\mathbf{x}$

即可得

$P = \mathbf{A}(\mathbf{A}^T\mathbf{A})^{-1}\mathbf{A}^TP$

再看$\mathbf{x} - P\mathbf{x} \in C(A)^\perp$

$\mathbf{x} - P\mathbf{x} \perp \mathbf{A}$

即

$\begin{aligned} \mathbf{A}^T(\mathbf{x} - P\mathbf{x}) &= 0 \\ \mathbf{A}^T\mathbf{x} &= \mathbf{A}^TP\mathbf{x} \\ \mathbf{A}^T &= \mathbf{A}^TP \end{aligned}$

即可得出

$\begin{cases} P = \mathbf{A}(\mathbf{A}^T\mathbf{A})^{-1}\mathbf{A}^TP \\ \mathbf{A}^T = \mathbf{A}^TP \end{cases} \Rightarrow \color{red}{P = \mathbf{A}(\mathbf{A}^T\mathbf{A})^{-1}\mathbf{A}^T}$

正交补空间的正交投影

已知从正交投影至子空间$C(\mathbf{A})$的矩阵为$P$，那么投影到$N(\mathbf{A}^T)$的矩阵为$I - P$

证明:

设$\forall\mathbf{x} \in \mathbb{C}^n$，使得

$\mathbf{x} - P\mathbf{x} \in C(A)^\perp$

也就是$\exists \mathbf{c} \in \mathbb{R}^n$，使得

$\mathbf{x} - P\mathbf{x} = \mathbf{A}^T\mathbf{c}$

两边同乘$\mathbf{A}$

$\begin{aligned} \mathbf{A}(\mathbf{x} - P\mathbf{x}) &= \mathbf{A}\mathbf{A}^T\mathbf{c} \\ \mathbf{A}(I - P)\mathbf{x} &= \mathbf{A}\mathbf{A}^T\mathbf{c} \end{aligned}$

得

$\begin{aligned} \mathbf{c} &= (\mathbf{A}\mathbf{A}^T)^{-1}\mathbf{A}(I - P)\mathbf{x} \\ \mathbf{A}^T\mathbf{c} &= \mathbf{A}^T(\mathbf{A}\mathbf{A}^T)^{-1}\mathbf{A}(I - P)\mathbf{x} \\ (I - P)\mathbf{x} &= \mathbf{A}^T(\mathbf{A}\mathbf{A}^T)^{-1}\mathbf{A}(I - P)\mathbf{x} \\ (I - P) &= \mathbf{A}^T(\mathbf{A}\mathbf{A}^T)^{-1}\mathbf{A}(I - P) \end{aligned}$

同理$\mathbf{x} - (I - P)\mathbf{x} \in C(A^T)^\perp$可得

$\begin{aligned} \mathbf{A}(\mathbf{x} - (I - P)\mathbf{x}) &= 0 \\ \mathbf{A}\mathbf{x} &= \mathbf{A}(I - P)\mathbf{x} \\ \mathbf{A} &= \mathbf{A}(I - P) \end{aligned}$

即可得出

$\begin{cases} (I - P) &= \mathbf{A}^T(\mathbf{A}\mathbf{A}^T)^{-1}\mathbf{A}(I - P) \\ \mathbf{A} &= \mathbf{A}(I - P) \end{cases} \Rightarrow \color{red}{(I - P) = \mathbf{A}^T(\mathbf{A}\mathbf{A}^T)^{-1}\mathbf{A}}$