邻里成分分析

对一个单一的数据点进行类别预测时，我们需要考虑有一种给定的距离度量确定的K个最近邻居，根据${\displaystyle k}$个近邻的类别标签投票得到该样本的类别。这就是留一（Loo）分类算法。但是对所有数据集进行一个线性空间变换之后，新空间中的同一样本的最近邻居集可能跟原空间的最近邻居集有很大差别。特别的，为了平滑${\displaystyle A}$中元素的变化，我们可以使该样本的最近邻居集离散化，也就是说任意一个基于一个点的最近邻居集的目标函数f都是离散的，因此也是不连续的。

我们可以用一种受随机梯度下降法算法的启示得到的方法解决该问题。在新的转换空间中，我们并不是对每个样本点用留一分类方法求取${\displaystyle k}$个最近邻居，而是在新空间中考虑整个数据集作为随机最近邻居。我们用一个平方欧氏距离函数来定义在新的转换空间中的留一数据点与其他数据的距离，该函数定义如下：

${\displaystyle p_{ij}={\begin{cases}{\frac {e^{-||Ax_{i}-Ax_{j}||^{2}}}{\sum _{k}e^{-||Ax_{i}-Ax_{k}||^{2}}}},&{\mbox{if}}j\neq i\\0,&{\mbox{if}}j=i\end{cases}}}$

输入点${\displaystyle i}$的分类准确率是与其相邻的最近邻居集${\displaystyle C_{i}}$的分类准确率： ${\displaystyle p_{i}=\sum _{j}^{n}p_{ij}\quad }$ 其中${\displaystyle p_{ij}}$是${\displaystyle j}$是${\displaystyle i}$的最近邻居的概率。 定义用全局数据集作为随机最近邻的留一分类方法确定的目标函数如下：

${\displaystyle f(A)=\sum _{i}\sum _{j\in C_{i}}p_{ij}=\sum _{i}p_{i}}$

由随机近邻理论知，与单一样本点${\displaystyle C_{i}}$的同类别的在随机近邻域${\displaystyle C_{i}}$样本点${\displaystyle j}$可以表示为：

${\displaystyle P(Class(X_{i})=Class(X_{j}))=p_{ij}}$。因此，单一样本点${\displaystyle i}$的预测类别是随机近邻集中其他样本类别的某种组合，其准确率与随机近邻域${\displaystyle C_{i}}$中与${\displaystyle i}$同类别的${\displaystyle y}$所占的比例有关。 因此，目标函数可以更好的选为：

${\displaystyle {\frac {\partial f}{\partial A}}=-2A\sum _{i}\sum _{j\in C_{i}}p_{ij}\left(x_{ij}x_{ij}^{T}-\sum _{k}p_{ik}x_{ik}x_{ik}^{T}\right)}$

这里用到了连续梯度下降算法。

最大化函数f（.）相当于最小化预测的类分布和真正的类分布之间的差距，即使两者更接近。故目标函数和梯度可以重新写作：

${\displaystyle g(A)=\sum _{i}\log \left(\sum _{j\in C_{i}}p_{ij}\right)=\sum _{i}\log(p_{i})}$

${\displaystyle {\frac {\partial g}{\partial A}}=2A\sum _{i}\left(\sum _{k}p_{ik}x_{ik}x_{ik}^{T}-{\frac {\sum _{j\in C_{i}}p_{ij}x_{ij}x_{ij}^{T}}{\sum _{j\in C_{i}}p_{ij}}}\right)}$

在实际应用中运用此方法得到优化的${\displaystyle A}$与之前的方法得到的${\displaystyle A}$有相似的预测结果。