广义最小二乘法

在一个标准线性回归中，有数据组${\displaystyle \{y_{i},x_{ij}\}_{i=1,\dots ,n,j=2,\dots ,k}}$

因变量有：

$${\displaystyle \mathbf {y} \equiv {\begin{pmatrix}y_{1}\\\vdots \\y_{n}\end{pmatrix}},}$$

预测变量被放入了如下的设计矩阵

$${\displaystyle \mathbf {X} \equiv {\begin{pmatrix}1&x_{12}&x_{13}&\cdots &x_{1k}\\1&x_{22}&x_{23}&\cdots &x_{2k}\\\vdots &\vdots &\vdots &\ddots &\vdots \\1&x_{n2}&x_{n3}&\cdots &x_{nk}\end{pmatrix}},}$$

这里每行是一个有${\displaystyle k}$预测变量的向量，每行对应第${\displaystyle i}$个数据点。这个模型假设${\displaystyle \mathbf {y} }$在${\displaystyle \mathbf {X} }$下的的条件均值将会是${\displaystyle \mathbf {X} }$的线性函数，且在${\displaystyle \mathbf {X} }$下的方差是一个非奇异方差矩阵${\displaystyle \mathbf {\Omega } }$，有

$${\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }},\quad \operatorname {E} [{\boldsymbol {\varepsilon }}\mid \mathbf {X} ]=0,\quad \operatorname {Cov} [{\boldsymbol {\varepsilon }}\mid \mathbf {X} ]={\boldsymbol {\Omega }},}$$

这里${\displaystyle {\boldsymbol {\beta }}\in \mathbb {R} ^{k}}$是一个含有未知常数的矩阵，称为回归系数（regression coefficients），它们从回归中预测得到。如果${\displaystyle \mathbf {b} }$是${\displaystyle {\boldsymbol {\beta }}}$可能的值，则对${\displaystyle \mathbf {b} }$的残余值是${\displaystyle \mathbf {y} -\mathbf {X} \mathbf {b} }$。广义最小二乘法通过最小化馬哈拉諾比斯距離来预测${\displaystyle {\boldsymbol {\beta }}}$：

$${\displaystyle {\begin{aligned}{\hat {\boldsymbol {\beta }}}&={\underset {\mathbf {b} }{\operatorname {argmin} }}\,(\mathbf {y} -\mathbf {X} \mathbf {b} )^{\mathrm {T} }\mathbf {\Omega } ^{-1}(\mathbf {y} -\mathbf {X} \mathbf {b} )\\&={\underset {\mathbf {b} }{\operatorname {argmin} }}\,\mathbf {y} ^{\mathrm {T} }\,\mathbf {\Omega } ^{-1}\mathbf {y} +(\mathbf {X} \mathbf {b} )^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {X} \mathbf {b} -\mathbf {y} ^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {X} \mathbf {b} -(\mathbf {X} \mathbf {b} )^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {y} \,,\end{aligned}}}$$

相当于

$${\displaystyle {\hat {\boldsymbol {\beta }}}={\underset {\mathbf {b} }{\operatorname {argmin} }}\,\mathbf {y} ^{\mathrm {T} }\,\mathbf {\Omega } ^{-1}\mathbf {y} +\mathbf {b} ^{\mathrm {T} }\mathbf {X} ^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {X} \mathbf {b} -2\mathbf {b} ^{\mathrm {T} }\mathbf {X} ^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {y} ,}$$

这是一个二次规划问题。目标函数的驻点出现在以下情况：

$${\displaystyle 2\mathbf {X} ^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {X} {\mathbf {b} }-2\mathbf {X} ^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {y} =0,}$$

所以：

$${\displaystyle {\hat {\boldsymbol {\beta }}}=\left(\mathbf {X} ^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {X} \right)^{-1}\mathbf {X} ^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {y} .}$$

数量${\displaystyle \mathbf {\Omega } ^{-1}}$称为精度矩阵（或分散矩阵），是对角权重矩阵的推广。