投影 (线性代数)

投影的严格定义是：一个从向量空间V射到它自身的线性变换 P 是投影，当且仅当${\displaystyle P^{2}=P}$。另外一个定义则较为直观：P 是投影，当且仅当存在V的一个子空间W，使得 P 将所有V中的元素都映射到W中，而且 P 在W上是恒等变换。用数学的语言描述，就是：

${\displaystyle \exists W}$，使得${\displaystyle \forall u\in V,P(u)\in W}$，并且${\displaystyle \forall u\in W,P(u)=u}$

在现实生活中，阳光在地面上留下各种影子。这就是投影变换最直白的例子。可以理想化地假设阳光都是沿着同一个方向（比如说垂直于地面的角度）照射而来，大地是严格的平面，那么，对于任意一个物体（比如说一只正在飞行的鸟），它的位置可以用向量 (x, y, z) 来表示，而这只鸟在阳光下对应着一个影子，也就是 (x, y, 0)。这样的一个变换就是一个投影变换。它将三维空间中的向量 (x, y, z) 到映射到向量 (x, y, 0) 。这是在 x-y 平面上的投影。这个变换可以用矩阵表示为

${\displaystyle P={\begin{bmatrix}1&0&0\\0&1&0\\0&0&0\end{bmatrix}}}$

因为对任意一个向量 (x, y, z) ，这个矩阵的作用是：

${\displaystyle P{\begin{bmatrix}x\\y\\z\end{bmatrix}}={\begin{bmatrix}x\\y\\0\end{bmatrix}}}$

注意到如果一个向量原来就是表示地面上的一点的话（也就是说它的z分量等于0），那么经过变换 P 后不会有改变。也就是说这个变换在子空间 x-y 平面上是恒等变换，这证明了 P 的确是一个投影。

另外，

${\displaystyle P^{2}{\begin{bmatrix}x\\y\\z\end{bmatrix}}=P{\begin{bmatrix}x\\y\\0\end{bmatrix}}={\begin{bmatrix}x\\y\\0\end{bmatrix}};}$

所以 P = P²，这也证明 P 的确是投影。

变换 T 是沿着 k 方向到直线 m 上的投影。T 的像空间是 m 而零空间是 k。

这里假定投影所在的向量空间W是有限维的（因此不需要考虑如投影的连续性之类的问题）。假设子空间U与V分别为 P 的像空间与零空间（也叫做核）。那么按照定义，有如下的基本性质:

1. 按照定义，P是等幂的（即${\displaystyle P^{2}=P}$）
2. P 在像空间U上是恒等变换：${\displaystyle \forall x\in U,\quad P(x)=x}$
3. 整个向量空间可以分解成子空间U与V的直和：${\displaystyle W=U\oplus V}$。也就是说，空间里的每一个向量${\displaystyle x\in W}$，都可以以唯一的方式写成两个向量${\displaystyle u}$与${\displaystyle v}$的和：${\displaystyle x=u+v}$，并且满足${\displaystyle u=Px}$, ${\displaystyle v=x-Px=(I-P)x}$, 其中${\displaystyle u\in U}$、${\displaystyle v\in V}$。

用抽象代数的术语来说，投影 P 是幂等的线性变换（P² = P）。因此它的极小多项式是${\displaystyle X^{2}-X=X(X-1)}$。因式分解后可以看到，这个多项式只有相异的单根（没有多重根），因此 P 是可对角化矩阵。极小多项式也显示出了投影的特性: 像空间与零空间分别是是对应于特征值1和0的特征空间，并给出了整个空间的一个直和分解。

正如日常生活中阳光沿着一定的方向将影子投射到地面上，一般的投影变换也可以称为是沿着W到U上的投影。由于向量空间分解成直和的方式一般不是唯一的（阳光可以顺着不同的方向照射），给定一个子空间 V（地面），一般的说有很多到V 的投影（沿不同的W）。

如果向量空间${\displaystyle V}$被赋予了内积且是完備的，那么就可以定义正交和其它相关的概念(比如线性算子的自伴随性)了。正交投影是指值域${\displaystyle U}$和零空间${\displaystyle W}$相互正交的投影，也就是说，對於任意${\displaystyle u\in U}$，${\displaystyle w\in W}$，它们的内积${\displaystyle (u|w)}$都等于0。一个投影是正交投影，当且仅当它是自伴算子，以下為證明：如果投影 ${\displaystyle P}$ 是自伴算子，那么

${\displaystyle \forall u=P(v)\in U,}$ ${\displaystyle w\in W:}$

${\displaystyle (u|w)=\left(P(v)|w\right)=\left(v|P^{*}(w)\right)=\left(v|P(w)\right)=\left(v|0\right)=0,}$ 其中${\displaystyle P^{*}}$ 表示 ${\displaystyle P}$ 的伴随算子。

所以 ${\displaystyle P}$ 是正交投影。相反的，如果 ${\displaystyle P}$ 是正交投影，由於

${\displaystyle \forall v\in V:\,v-P(v)\in W,}$ 因此我們有

${\displaystyle \forall v_{1},\,v_{2}\in V:0=\left(P(v_{1})|(v_{2}-P(v_{2}))\right)=\left(v_{1}|(P^{*}-P^{*}P)(v_{2})\right).}$

鉴于 ${\displaystyle v_{1},\,v_{2}}$ 是任意選取的，必然有 ${\displaystyle P^{*}-P^{*}P=0}$ 或 ${\displaystyle P^{*}=P^{*}P,}$ 由於${\displaystyle P^{*}P}$一定是自伴算子，因此可知 ${\displaystyle P^{*}}$與${\displaystyle P}$ 也是自伴算子。

这意味着正交投影的矩阵有特殊的性质。如果投影是在实向量空间中，那么它对应的矩阵是对称矩阵: ${\displaystyle P=P^{T}}$。如果投影是在虚向量空间中，那么它的矩阵则是埃尔米特矩阵:${\displaystyle P=P^{*}}$

当底层向量空间 X 是(不必需有限维)赋范向量空间，需要考虑无关于有限维情况的分析问题，假定现在 X 是巴拿赫空间。

上面讨论的多数代数概念转移到这个上下文后幸存下来了。给定的 X 的直和分解成补子空间仍指定一个投影，反之亦然。如果 X 是直和 X = U ⊕ V，则定义自 P(u + v) = u 的算子仍是有值域 U 和核 V 的投影。明显的也 P² = P。反过来说，如果 P 是在 X 上的投影，就是说 P² = P，则很容易验证 (I − P)² = (I − P)。换句话说，(I − P) 也是投影。关系 I = P + (I − P) 蕴涵了 X 是直和 Ran(P) ⊕ Ran(I − P)。

但是相对于有限维情况，投影一般不必须是连续的。如果 X 的子空间 U 在规范拓扑下不闭合，则到 U 上的投影是不连续的。换句话说，连续投影 P 的值域一定是闭合子空间。进一步的，连续投影(事实上，一般的连续线性算子)的核是闭合的。所以连续投影 P 把 X 分解成两个互补的闭合子空间: X = Ran(P) ⊕ Ker(P) = Ran(P) ⊕ Ran(I − P)。

反命题在有额外假定条件下也成立。假设 U 是 X 的闭合子空间。如果存在一个闭合子空间 V 使得 X = U ⊕ V，则有值域 U 和核 V 的投影 P 是连续的。这是从闭合图定理推出的。假定 x_n → x 而 Px_n → y。需要证明 Px = y。因为 U 是闭合的且 {Px_n} ⊂ U, y 位于 U 中，就是说 Py = y。还有 x_n − Px_n = (I − P)x_n → x − y。因为 V 是闭合的且 {(I − P)x_n} ⊂ V，我们有了 x − y ∈ V，就是说 P(x − y) = Px − Py = Px − y = 0，这证明了这个断言。

上述论证利用 U 和 V 都是闭合的假定。一般的说，给定一个闭合子空间 U, 不需要存在一个互补的闭合子空间 V，尽管对于希尔伯特空间总是可以采取正交补得到。对于巴拿赫空间，一维子空间总是有闭合的补子空间。这是 哈恩-巴拿赫定理的直接推论。设 U 是 u 的线性扩张。通过哈恩-巴拿赫定理，存在一个有界线性泛函 φ，使得 φ(u) = 1。算子 P(x) = φ(x)u 满足 P² = P，就是说它是个投影。φ 的有界性蕴涵了 P 的连续性，因此 Ker(P) = Ran(I − P) 是 U 的闭合补子空间。

投影（正交与非正交投影）在算法领域和特定线性代数问题中有重要应用。

• QR分解（参见豪斯霍尔德变换和格拉姆-施密特正交化）
• 奇异值分解
• 化为海森伯格矩阵形式（许多特征值算法的第一步）
• 线性回归

• 中心矩阵，它是投影矩阵的例子。
• 正交化
• 不变子空间
• 透视投影

1. Meyer, pp 386+387
2. Meyer, p. 431
3. Meyer, equation (5.13.4)
4. Meyer, equation (5.13.3)
5. Meyer, equation (7.10.39)

• N. Dunford and J.T. Schwartz, Linear Operators, Part I: General Theory, Interscience, 1958.
• Carl D. Meyer, Matrix Analysis and Applied Linear Algebra （页面存档备份，存于）, Society for Industrial and Applied Mathematics, 2000. ISBN 978-0-89871-454-8.