半参数回归

部分线性模型如下

${\displaystyle Y_{i}=X'_{i}\beta +g\left(Z_{i}\right)+u_{i},\,\quad i=1,\ldots ,n,\,}$

其中${\displaystyle Y_{i}}$是因变量，${\displaystyle X_{i}}$是解释变量的${\displaystyle p\times 1}$向量，${\displaystyle \beta }$是未知参数的${\displaystyle p\times 1}$向量，${\displaystyle Z_{i}\in \operatorname {R} ^{q}}$。部分线性模型的参数部分由参数向量${\displaystyle \beta }$给出，而非参数部分是未知函数${\displaystyle g\left(Z_{i}\right)}$。假设数据与${\displaystyle E\left(u_{i}|X_{i},Z_{i}\right)=0}$独立同分布，模型允许未知形式的条件异方差误差过程${\displaystyle E\left(u_{i}^{2}|x,z\right)=\sigma ^{2}\left(x,z\right)}$。这类模型由Robinson (1988)提出，并由Racine & Li (2007)扩展到处理分类协变量。

这种方法先获得${\displaystyle \beta }$的${\displaystyle {\sqrt {n}}}$一致估计量，然后用适当的非参数回归方法，从${\displaystyle Y_{i}-X'_{i}{\hat {\beta }}}$对${\displaystyle z}$的非参数回归中推出${\displaystyle g\left(Z_{i}\right)}$的估计量。[1]

单一指数模型的形式是

${\displaystyle Y=g\left(X'\beta _{0}\right)+u,\,}$

其中${\displaystyle Y}$、${\displaystyle X}$、${\displaystyle \beta _{0}}$的定义与上文相同，误差项${\displaystyle u}$满足${\displaystyle E\left(u|X\right)=0}$。单一指数模型得名于模型的参数部分${\displaystyle x'\beta }$，是标量单指数。非参数部分是未知函数${\displaystyle g\left(\cdot \right)}$。

市村(1993)提出的单一指数模型法如下。考虑${\displaystyle y}$连续情形，给定函数${\displaystyle g\left(\cdot \right)}$的已知形式，${\displaystyle \beta _{0}}$可用非线性最小二乘法估计，使函数

${\displaystyle \sum _{i=1}\left(Y_{i}-g\left(X'_{i}\beta \right)\right)^{2}.}$

最小化。${\displaystyle g\left(\cdot \right)}$的函数形式未知，需要估计。对给定${\displaystyle \beta }$值，函数估计值可用核密度估计得到，为

${\displaystyle G\left(X'_{i}\beta \right)=E\left(Y_{i}|X'_{i}\beta \right)=E\left[g\left(X'_{i}\beta _{o}\right)|X'_{i}\beta \right]}$

市村(1993)建议用下式估计${\displaystyle g\left(X'_{i}\beta \right)}$：

${\displaystyle {\hat {G}}_{-i}\left(X'_{i}\beta \right),\,}$

为${\displaystyle G\left(X'_{i}\beta \right)}$的留一非参数核估计量.

Klein & Spady (1993)提出，若因变量${\displaystyle y}$是二元的，并假设${\displaystyle X_{i}}$、${\displaystyle u_{i}}$独立，则可用最大似然估计法估计${\displaystyle \beta }$。对数似然函数为

${\displaystyle L\left(\beta \right)=\sum _{i}\left(1-Y_{i}\right)\ln \left(1-{\hat {g}}_{-i}\left(X'_{i}\beta \right)\right)+\sum _{i}Y_{i}\ln \left({\hat {g}}_{-i}\left(X'_{i}\beta \right)\right),}$

其中${\displaystyle {\hat {g}}_{-i}\left(X'_{i}\beta \right)}$是留一估计量。

Hastie & Tibshirani (1993)提出了一种平滑系数模型

${\displaystyle Y_{i}=\alpha \left(Z_{i}\right)+X'_{i}\beta \left(Z_{i}\right)+u_{i}=\left(1+X'_{i}\right)\left({\begin{array}{c}\alpha \left(Z_{i}\right)\\\beta \left(Z_{i}\right)\end{array}}\right)+u_{i}=W'_{i}\gamma \left(Z_{i}\right)+u_{i},}$

其中${\displaystyle X_{i}}$是${\displaystyle k\times 1}$向量，${\displaystyle \beta \left(z\right)}$是${\displaystyle z}$的未定平滑函数向量。

${\displaystyle \gamma \left(\cdot \right)}$可表为

${\displaystyle \gamma \left(Z_{i}\right)=\left(E\left[W_{i}W'_{i}|Z_{i}\right]\right)^{-1}E\left[W_{i}Y_{i}|Z_{i}\right].}$