协方差矩阵

在统计学与概率论中，协方差矩阵（covariance matrix）是一个方阵，代表著任兩列随机变量间的协方差，是协方差的直接推广。

中心为 (0, 0) 的一个二元高斯概率密度函数，协方差矩阵为 [ 1.00, 0.50 ; 0.50, 1.00 ]。

一个左下右上方向标准差为 3，正交方向标准差为 1 的多元高斯分布的样本点。由于 x 和 y 分量共变（即相关），x 与 y 的方差不能完全描述该分布；箭头的方向对应的协方差矩阵的特征向量，其长度为特征值的平方根。

定义

定義 —
設 $(\Omega ,\,\Sigma ,\,P)$ 是機率空間， $X=\{x_{i}\}_{i=1}^{m}$ 与 $Y=\{y_{i}\}_{j=1}^{n}$ 是定義在 $\Omega$ 上的兩列实数随机变量序列

若二者对应的期望值分别为：

E(x_{i})=\int _{\Omega }x_{i}\,dP=\mu _{i}

E(y_{j})=\int _{\Omega }y_{j}\,dP=\nu _{j}

則这两列隨機变量间的协方差矩阵为：

\operatorname {\mathbf {cov} } (X,Y):={\left[\,\operatorname {cov} (x_{i},y_{j})\,\right]}_{m\times n}={{\bigg [}\,\operatorname {E} [(x_{i}-\mu _{i})(y_{j}-\nu _{j})]\,{\bigg ]}}_{m\times n}

將之以矩形表示的話就是：

\operatorname {\mathbf {cov} } (X,Y)={\begin{bmatrix}\operatorname {cov} (x_{1},y_{1})&\operatorname {cov} (x_{1},y_{2})&\cdots &\operatorname {cov} (x_{1},y_{n})\\\operatorname {cov} (x_{2},y_{1})&\operatorname {cov} (x_{2},y_{2})&\cdots &\operatorname {cov} (x_{2},y_{n})\\\vdots &\vdots &\ddots &\vdots \\\operatorname {cov} (x_{m},y_{1})&\operatorname {cov} (x_{m},y_{2})&\cdots &\operatorname {cov} (x_{m},y_{n})\end{bmatrix}}

={\begin{bmatrix}\mathrm {E} [(x_{1}-\mu _{1})(y_{1}-\nu _{1})]&\mathrm {E} [(x_{1}-\mu _{1})(y_{2}-\nu _{2})]&\cdots &\mathrm {E} [(x_{1}-\mu _{1})(y_{n}-\nu _{n})]\\\mathrm {E} [(x_{2}-\mu _{2})(y_{1}-\nu _{1})]&\mathrm {E} [(x_{2}-\mu _{2})(y_{2}-\nu _{2})]&\cdots &\mathrm {E} [(x_{2}-\mu _{2})(y_{n}-\nu _{n})]\\\vdots &\vdots &\ddots &\vdots \\\mathrm {E} [(x_{m}-\mu _{m})(y_{1}-\nu _{1})]&\mathrm {E} [(x_{m}-\mu _{m})(y_{2}-\nu _{2})]&\cdots &\mathrm {E} [(x_{m}-\mu _{m})(y_{n}-\nu _{n})]\end{bmatrix}}

根據測度積分的線性性質，协方差矩阵還可以進一步化簡為：

\operatorname {\mathbf {cov} } (X,Y)={\left[\,\operatorname {E} (x_{i}y_{j})-\mu _{i}\nu _{j}\,\right]}_{n\times n}

矩陣表示法

以上定義所述的隨機變數序列 $X$ 和 $Y$ ，也可分別以用行向量 $\mathbf {X$ 與 $\mathbf {Y$ 表示，換句話說：

\mathbf {X

\mathbf {Y

這樣的話，對於 $m\times n$ 個定義在 $\Omega$ 上的隨機變數 $a_{ij}$ 所組成的矩陣 $\mathbf {A} ={\left[\,a_{ij}\,\right]}_{m\times n}$ ，定義：

\mathrm {E} [\mathbf {A} ]:={\left[\,\operatorname {E} (a_{ij})\,\right]}_{m\times n}

也就是說

\mathrm {E} [\mathbf {A} ]:={\begin{bmatrix}\operatorname {E} (a_{11})&\operatorname {E} (a_{12})&\cdots &\operatorname {E} (a_{1n})\\\operatorname {E} (a_{21})&\operatorname {E} (a_{22})&\cdots &\operatorname {E} (a_{2n})\\\vdots &\vdots &\ddots &\vdots \\\operatorname {E} (a_{m1})&\operatorname {E} (a_{m2})&\cdots &\operatorname {E} (a_{mn})\end{bmatrix}}

那上小節定義的协方差矩阵就可以記为：

\operatorname {\mathbf {cov} } (X,Y)=\mathrm {E} \left[\left(\mathbf {X} -\mathrm {E} [\mathbf {X} ]\right)\left(\mathbf {Y} -\mathrm {E} [\mathbf {Y} ]\right)^{\rm {T}}\right]

所以协方差矩阵也可對 $\mathbf {X}$ 與 $\mathbf {Y}$ 來定義：

\operatorname {\mathbf {cov} } (\mathbf {X} ,\mathbf {Y} ):=\mathrm {E} \left[\left(\mathbf {X} -\mathrm {E} [\mathbf {X} ]\right)\left(\mathbf {Y} -\mathrm {E} [\mathbf {Y} ]\right)^{\rm {T}}\right]

术语与符号分歧

也有人把以下的 $\mathbf {\Sigma } _{X}$ 稱為协方差矩阵：

{\begin{aligned}\mathbf {\Sigma } _{X}&:={\left[\operatorname {cov} (x_{i},x_{j})\right]}_{m\times m}\\&=\operatorname {\mathbf {cov} } (X,X)\end{aligned}}

但本頁面沿用威廉·费勒的说法，把 $\mathbf {\Sigma } _{X}$ 稱為 $X$ 的方差（variance of random vector），來跟 $\operatorname {\mathbf {cov} } (X,Y)$ 作區別。這是因為：

\operatorname {cov} (x_{i},x_{i})=\operatorname {E} [{(x_{i}-\mu _{i})}^{2}]=\operatorname {var} (x_{i})

換句話說， $\mathbf {\Sigma } _{X}$ 的對角線由隨機變數 $x_{i}$ 的方差所組成。據此，也有人也把 $\operatorname {\mathbf {cov} } (X,Y)$ 稱為方差-协方差矩阵（variance–covariance matrix）。

更有人因為方差和离差的相關性，含混的將 $\operatorname {\mathbf {cov} } (X,Y)$ 稱為离差矩阵。

性质

$\mathbf {\Sigma } =\operatorname {\mathbf {cov} } (X,X)$ 有以下的基本性质：

$\mathbf {\Sigma } =\mathrm {E} (\mathbf {X} \mathbf {X} ^{T})-\mathrm {E} (\mathbf {X} ){[\mathrm {E} (\mathbf {Y} )]}^{T}$
$\mathbf {\Sigma }$ 是半正定的和对称的矩阵。
$\operatorname {var} (\mathbf {a^{T}} \mathbf {X} )=\mathbf {a^{T}} \operatorname {var} (\mathbf {X} )\mathbf {a}$
$\mathbf {\Sigma } \geq 0$
$\operatorname {var} (\mathbf {AX} +\mathbf {a} )=\mathbf {A} \operatorname {var} (\mathbf {X} )\mathbf {A^{T}}$
$\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )=\operatorname {cov} (\mathbf {Y} ,\mathbf {X} )^{T}$
$\operatorname {cov} (\mathbf {X_{1}} +\mathbf {X_{2}} ,\mathbf {Y} )=\operatorname {cov} (\mathbf {X_{1}} ,\mathbf {Y} )+\operatorname {cov} (\mathbf {X_{2}} ,\mathbf {Y} )$
若 $p=q$ ，則有 $\operatorname {var} (\mathbf {X} +\mathbf {Y} )=\operatorname {var} (\mathbf {X} )+\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )+\operatorname {cov} (\mathbf {Y} ,\mathbf {X} )+\operatorname {var} (\mathbf {Y} )$
$\operatorname {cov} (\mathbf {AX} ,\mathbf {BX} )=\mathbf {A} \operatorname {cov} (\mathbf {X} ,\mathbf {X} )\mathbf {B} ^{T}$
若 $\mathbf {X}$ 与 $\mathbf {Y}$ 是独立的，則有 $\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )=0$
$\mathbf {\Sigma } =\mathbf {\Sigma } ^{T}$

尽管共變異數矩阵很简单，可它却是很多领域里的非常有力的工具。它能导出一个变换矩阵，这个矩阵能使数据完全去相关(decorrelation)。从不同的角度看，也就是说能够找出一组最佳的基以紧凑的方式来表达数据。(完整的证明请参考瑞利商)。这个方法在统计学中被称为主成分分析(principal components analysis)，在图像处理中称为Karhunen-Loève 变换(KL-变换)。

複随机向量

均值为 $\mu$ 的複随机标量变量的方差定义如下（使用共轭複数）：

\operatorname {var} (z)=\operatorname {E} \left[(z-\mu )(z-\mu )^{*}\right]

其中复数 $z$ 的共轭记为 $z^{*}$ 。

如果 $Z$ 是一个复列向量,则取其共轭转置，得到一个方阵:

\operatorname {E} \left[(Z-\mu )(Z-\mu )^{*}\right]

其中 $Z^{*}$ 为共轭转置, 它对于标量也成立，因为标量的转置还是标量。

估计

多元正态分布的共變異數矩阵的估计的推导非常精致. 它需要用到谱定义以及为什么把标量看做 $1\times 1$ 矩阵的迹更好的原因。参见共變異數矩阵的估计。

外部链接

Covariance Matrix（页面存档备份，存于） at Mathworld

This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.