矩陣範數

考虑从向量空间${\displaystyle V=\mathbb {K} ^{m}}$映射到${\displaystyle W=\mathbb {K} ^{n}}$的所有线性映射的构成的空间：${\displaystyle {\mathcal {L}}_{m,n}(\mathbb {K} )}$。设${\displaystyle V}$和${\displaystyle W}$中分别装备了两个向量范数${\displaystyle \|\cdot \|_{V}}$和${\displaystyle \|\cdot \|_{W}}$，则可以定义${\displaystyle {\mathcal {L}}_{m,n}(\mathbb {K} )}$上的算子范数${\displaystyle \|\cdot \|_{\mathcal {L}}}$：

${\displaystyle \forall A\in {\mathcal {L}}_{m,n}(\mathbb {K} )\|A\|_{\mathcal {L}}=\max\{\|A(x)\|_{W}\;;\;\;x\in V,\;\;\|x\|_{V}\leqslant 1\}}$。

而给定了基底後，每个从${\displaystyle V}$映射到${\displaystyle W}$的线性映射都可以用一个${\displaystyle m\times n}$的矩阵来表示，所以同样地可以定义${\displaystyle {\mathcal {M}}_{m,n}(\mathbb {K} )}$上的非负映射${\displaystyle \|\cdot \|_{\mathcal {M}}}$：

${\displaystyle \forall A\in {\mathcal {M}}_{m,n}(\mathbb {K} )\|A\|_{\mathcal {M}}=\max\{\|Ax\|_{W}\;;\;\;x\in V,\;\;\|x\|_{V}\leqslant 1\}}$。

可以验证，${\displaystyle \|\cdot \|_{\mathcal {M}}}$满足矩阵范数的定义，因此是一个矩阵范数。这个矩阵范数被称为是由向量空间范数诱导的矩阵范数，可以看作是算子范数在由有限维向量空间之间线性映射组成的空间上的特例。如果${\displaystyle m=n}$，所对应的矩阵空间就是${\displaystyle n}$阶方块矩阵空间${\displaystyle {\mathcal {M}}_{n}(\mathbb {K} )}$。这时可以验证，诱导范数${\displaystyle \|\cdot \|_{\mathcal {M}}}$满足一致性条件。

当${\displaystyle V}$和${\displaystyle W}$中装备的向量范数都是${\displaystyle p}$-范数的时候，诱导的矩阵范数也称为矩阵的诱导${\displaystyle p}$-范数。具体来说就是：

${\displaystyle \left\|A\right\|_{p}=\max \limits _{x\neq 0}{\frac {\left\|Ax\right\|_{p}}{\left\|x\right\|_{p}}}=\max \limits _{x\neq 0}{\frac {\left(\sum _{i=1}^{m}|\sum _{j=1}^{n}a_{ij}x_{j}|^{p}\right)^{1/p}}{\left(\sum _{j=1}^{n}|x_{j}|^{p}\right)^{1/p}}}}$。

在${\displaystyle p=1}$和${\displaystyle p=\infty }$的情況下，其範數可以以下方式計算：

${\displaystyle {\begin{aligned}&\left\|A\right\|_{1}=\max \limits _{1\leq j\leq n}\sum _{i=1}^{m}|a_{ij}|\\&\left\|A\right\|_{\infty }=\max \limits _{1\leq i\leq m}\sum _{j=1}^{n}|a_{ij}|\end{aligned}}}$

這些與矩陣的Schatten p-範数不同，也可以用${\displaystyle \left\|A\right\|_{p}}$。來表示。

当p = 2（欧几里德範数）時，诱导的矩阵範数就是谱範数。矩陣A的谱範数是A最大的奇異值或半正定矩阵A^*A的最大特徵值的平方根：

${\displaystyle \left\|A\right\|_{2}={\sqrt {\lambda _{\text{max}}(A^{*}A)}}}$

其中A^*代表A的共轭转置。

任何诱导的矩陣範數都滿足此不等式

${\displaystyle \left\|A\right\|\geq \rho (A),}$

其中ρ(A)是A的谱半径。事實上，可以证明ρ(A)是A的所有诱导範数的下界。

此外，我們有

${\displaystyle \lim _{r\rightarrow \infty }\|A^{r}\|^{1/r}=\rho (A)}$。

這些向量範數将矩阵视为${\displaystyle m\times n}$向量，并使用类似的向量範數。

舉例說明，使用向量的p-範数，我們得到：

${\displaystyle \Vert A\Vert _{p}={\Big (}\sum _{i=1}^{m}\sum _{j=1}^{n}|a_{ij}|^{p}{\Big )}^{1/p}\ }$

注：不要把矩阵元p-範数与诱导p-範数混淆。

对p = 2，这称为弗罗贝尼乌斯範数（Frobenius norm）或希尔伯特-施密特範数（Hilbert–Schmidt norm），不过后面这个术语通常只用于希尔伯特空间。这个範数可用不同的方式定义：

${\displaystyle \|A\|_{F}={\sqrt {\sum _{i=1}^{m}\sum _{j=1}^{n}|a_{ij}|^{2}}}={\sqrt {\operatorname {trace} (A^{{}^{*}}A)}}={\sqrt {\sum _{i=1}^{\min\{m,\,n\}}\sigma _{i}^{2}}}}$

这里A^*表示A的共轭转置，σ_i是A的奇异值，并使用了迹函数。弗罗贝尼乌斯範数与Kⁿ上欧几里得範数非常类似，来自所有矩阵的空间上一个内积。

弗罗贝尼乌斯范数是服从乘法的且在数值线性代数中非常有用。这个範数通常比诱导範数容易计算。

极大值範数是p=∞的元素範数，

${\displaystyle \|A\|_{max}=\max\{|a_{ij}|\}}$。这个範数不服从次可乘性（sub-multiplicative property）。

Schatten範数出现于当p-範数应用于一个矩阵的奇异值向量时。如果奇异值记做σ_i，则Schatten p-範数定义为

${\displaystyle \|A\|_{p}={\Big (}\sum _{i=1}^{\min\{m,\,n\}}\sigma _{i}^{p}{\Big )}^{1/p}\ }$

这个範数与诱导、元素p-範数使用了同样的记号，但它们是不同的。

所有Schatten範数服从乘法。它们也都是酉不变的，这就是说||A|| = ||UAV|| 对所有矩阵A与所有酉矩阵U和V。

最常见的情形是p = 1, 2, ∞。p = 2得出弗罗贝尼乌斯範数，前面已经介绍过了。p = ∞得出谱範数，这是由向量2-範数诱导的矩阵範数（见下）。最后，p = 1得出迹範数(核範数)，定义为

${\displaystyle \|A\|_{\text{tr}}=\operatorname {trace} ({\sqrt {A^{*}A}})=\sum _{i=1}^{\min\{m,\,n\}}\sigma _{i}}$。

对矩阵${\displaystyle A\in \mathbb {R} ^{m\times n}}$如下不等式成立[1][2]：

• ${\displaystyle \|A\|_{2}\leq \|A\|_{F}\leq {\sqrt {n}}\|A\|_{2}}$
• ${\displaystyle \|A\|_{\text{max}}\leq \|A\|_{2}\leq {\sqrt {mn}}\|A\|_{\text{max}}}$
• ${\displaystyle {\frac {1}{\sqrt {n}}}\|A\|_{\infty }\leq \|A\|_{2}\leq {\sqrt {m}}\|A\|_{\infty }}$
• ${\displaystyle {\frac {1}{\sqrt {m}}}\|A\|_{1}\leq \|A\|_{2}\leq {\sqrt {n}}\|A\|_{1}}$

这里，||·||_p表示由向量p-範数诱导的矩阵範数。

向量範数之间另一个有用的不等式是

${\displaystyle \|A\|_{2}\leq {\sqrt {\|A\|_{1}\|A\|_{\infty }}}}$。