支持向量机

如果这些训练数据是线性可分的，可以选择分离两类数据的两个平行超平面，使得它们之间的距离尽可能大。在这两个超平面范围内的区域称为“间隔”，最大间隔超平面是位于它们正中间的超平面。这些超平面可以由方程：

${\displaystyle {\vec {w}}\cdot {\vec {x}}-b=1\,}$

或是

${\displaystyle {\vec {w}}\cdot {\vec {x}}-b=-1.\,}$

来表示。通过几何不难得到这两个超平面之间的距离是 ${\displaystyle {\tfrac {2}{\|{\vec {w}}\|}}}$，因此要使两平面间的距离最大，我们需要最小化 ${\displaystyle \|{\vec {w}}\|}$。同时为了使得样本数据点都在超平面的间隔区以外，我们需要保证对于所有的 ${\displaystyle i}$ 满足其中的一个条件：

${\displaystyle {\vec {w}}\cdot {\vec {x}}_{i}-b\geq 1,}$ 若 ${\displaystyle y_{i}=1}$

或是

${\displaystyle {\vec {w}}\cdot {\vec {x}}_{i}-b\leq -1,}$ 若 ${\displaystyle y_{i}=-1.}$

这些约束表明每个数据点都必须位于间隔的正确一侧。

这两个式子可以写作：

${\displaystyle y_{i}({\vec {w}}\cdot {\vec {x}}_{i}-b)\geq 1,\quad {\text{ for all }}1\leq i\leq n.\qquad \qquad (1)}$

可以用这个式子一起来得到优化问题：

“在 ${\displaystyle y_{i}({\vec {w}}\cdot {\vec {x_{i}}}-b)\geq 1}$ 条件下，最小化 ${\displaystyle \|{\vec {w}}\|}$，对于 ${\displaystyle i=1,\,\ldots ,\,n}$"

这个问题的解 ${\displaystyle {\vec {w}}}$ 与 ${\displaystyle b}$ 决定了我们的分类器 ${\displaystyle {\vec {x}}\mapsto \operatorname {sgn}({\vec {w}}\cdot {\vec {x}}-b)}$。

此几何描述的一个显而易见却重要的结果是，最大间隔超平面完全是由最靠近它的那些 ${\displaystyle {\vec {x}}_{i}}$ 确定的。这些 ${\displaystyle {\vec {x}}_{i}}$ 叫做支持向量。

为了将SVM扩展到数据线性不可分的情况，我们引入铰链损失函数，

${\displaystyle \max \left(0,1-y_{i}({\vec {w}}\cdot {\vec {x_{i}}}-b)\right).}$

当约束条件 (1) 满足时（也就是如果 ${\displaystyle {\vec {x}}_{i}}$ 位于边距的正确一侧）此函数为零。对于间隔的错误一侧的数据，该函数的值与距间隔的距离成正比。 然后我们希望最小化

${\displaystyle \left[{\frac {1}{n}}\sum _{i=1}^{n}\max \left(0,1-y_{i}({\vec {w}}\cdot {\vec {x_{i}}}-b)\right)\right]+\lambda \lVert {\vec {w}}\rVert ^{2},}$

其中参数 ${\displaystyle \lambda }$ 用来权衡增加间隔大小与确保 ${\displaystyle {\vec {x}}_{i}}$ 位于间隔的正确一侧之间的关系。因此，对于足够小的 ${\displaystyle \lambda }$ 值，如果输入数据是可以线性分类的，则软间隔SVM与硬间隔SVM将表现相同，但即使不可线性分类，仍能学习出可行的分类规则。

最小化(2)可以用下面的方式改写为目标函数可微的约束优化问题。

对所有 ${\displaystyle i\in \{1,\,\ldots ,\,n\}}$ 我们引入变量 ${\displaystyle \zeta _{i}=\max \left(0,1-y_{i}(w\cdot x_{i}+b)\right)}$。注意到 ${\displaystyle \zeta _{i}}$ 是满足 ${\displaystyle y_{i}(w\cdot x_{i}+b)\geq 1-\zeta _{i}}$ 的最小非负数。

因此，我们可以将优化问题叙述如下

${\displaystyle {\text{minimize }}{\frac {1}{n}}\sum _{i=1}^{n}\zeta _{i}+\lambda \|w\|^{2}}$

${\displaystyle {\text{subject to }}y_{i}(x_{i}\cdot w+b)\geq 1-\zeta _{i}\,{\text{ and }}\,\zeta _{i}\geq 0,\,{\text{for all }}i.}$

这就叫做原型问题。

通过求解上述问题的拉格朗日对偶，得到简化的问题

${\displaystyle {\text{maximize}}\,\,f(c_{1}\ldots c_{n})=\sum _{i=1}^{n}c_{i}-{\frac {1}{2}}\sum _{i=1}^{n}\sum _{j=1}^{n}y_{i}c_{i}(x_{i}\cdot x_{j})y_{j}c_{j},}$

${\displaystyle {\text{subject to }}\sum _{i=1}^{n}c_{i}y_{i}=0,\,{\text{and }}0\leq c_{i}\leq {\frac {1}{2n\lambda }}\;{\text{for all }}i.}$

这就叫做对偶问题。由于对偶最小化问题是受线性约束的 ${\displaystyle c_{i}}$ 的二次函数，所以它可以通过二次规划算法高效地解出。 这里，变量 ${\displaystyle c_{i}}$ 定义为满足

${\displaystyle {\vec {w}}=\sum _{i=1}^{n}c_{i}y_{i}{\vec {x}}_{i}}$.

此外，当 ${\displaystyle {\vec {x}}_{i}}$ 恰好在间隔的正确一侧时 ${\displaystyle c_{i}=0}$，且当 ${\displaystyle {\vec {x}}_{i}}$ 位于间隔的边界时 ${\displaystyle 0<c_{i}<(2n\lambda )^{-1}}$。因此，${\displaystyle {\vec {w}}}$ 可以写为支持向量的线性组合。 可以通过在间隔的边界上找到一个 ${\displaystyle {\vec {x}}_{i}}$ 并求解

${\displaystyle y_{i}({\vec {w}}\cdot {\vec {x}}_{i}+b)=1\iff b=y_{i}-{\vec {w}}\cdot {\vec {x}}_{i}.}$

得到偏移量 ${\displaystyle b}$。（注意由于 ${\displaystyle y_{i}=\pm 1}$ 因而 ${\displaystyle y_{i}^{-1}=y_{i}}$。）

假设我们要学习与变换后数据点 ${\displaystyle \varphi ({\vec {x}}_{i})}$ 的线性分类规则对应的非线性分类规则。此外，我们有一个满足 ${\displaystyle k({\vec {x}}_{i},{\vec {x}}_{j})=\varphi ({\vec {x}}_{i})\cdot \varphi ({\vec {x}}_{j})}$ 的核函数 ${\displaystyle k}$。

我们知道变换空间中的分类向量 ${\displaystyle {\vec {w}}}$ 满足

${\displaystyle {\vec {w}}=\sum _{i=1}^{n}c_{i}y_{i}\varphi ({\vec {x}}_{i}),}$

其中 ${\displaystyle c_{i}}$ 可以通过求解优化问题

${\displaystyle {\begin{aligned}{\text{maximize}}\,\,f(c_{1}\ldots c_{n})&=\sum _{i=1}^{n}c_{i}-{\frac {1}{2}}\sum _{i=1}^{n}\sum _{j=1}^{n}y_{i}c_{i}(\varphi ({\vec {x}}_{i})\cdot \varphi ({\vec {x}}_{j}))y_{j}c_{j}\\&=\sum _{i=1}^{n}c_{i}-{\frac {1}{2}}\sum _{i=1}^{n}\sum _{j=1}^{n}y_{i}c_{i}k({\vec {x}}_{i},{\vec {x}}_{j})y_{j}c_{j}\\\end{aligned}}}$

${\displaystyle {\text{subject to }}\sum _{i=1}^{n}c_{i}y_{i}=0,\,{\text{and }}0\leq c_{i}\leq {\frac {1}{2n\lambda }}\;{\text{for all }}i.}$

得到。与前面一样，可以使用二次规划来求解系数 ${\displaystyle c_{i}}$。同样，我们可以找到让 ${\displaystyle 0<c_{i}<(2n\lambda )^{-1}}$ 的索引 ${\displaystyle i}$，使得 ${\displaystyle \varphi ({\vec {x}}_{i})}$ 位于变换空间中间隔的边界上，然后求解

${\displaystyle {\begin{aligned}b={\vec {w}}\cdot \varphi ({\vec {x}}_{i})-y_{i}&=\left[\sum _{k=1}^{n}c_{k}y_{k}\varphi ({\vec {x}}_{k})\cdot \varphi ({\vec {x}}_{i})\right]-y_{i}\\&=\left[\sum _{k=1}^{n}c_{k}y_{k}k({\vec {x}}_{k},{\vec {x}}_{i})\right]-y_{i}.\end{aligned}}}$

最后，可以通过计算下式来分类新点

${\displaystyle {\vec {z}}\mapsto \operatorname {sgn}({\vec {w}}\cdot \varphi ({\vec {z}})+b)=\operatorname {sgn} \left(\left[\sum _{i=1}^{n}c_{i}y_{i}k({\vec {x}}_{i},{\vec {z}})\right]+b\right).}$

用于找到SVM分类器的最近的算法包括次梯度下降和坐标下降。当处理大的稀疏数据集时，这两种技术已经被证明有着显著的优点——当存在许多训练实例时次梯度法是特别有效的，并且当特征空间的维度高时，坐标下降特别有效。

SVM的次梯度下降算法直接用表达式

${\displaystyle f({\vec {w}},b)=\left[{\frac {1}{n}}\sum _{i=1}^{n}\max \left(0,1-y_{i}(w\cdot x_{i}+b)\right)\right]+\lambda \lVert w\rVert ^{2}.}$

注意 ${\displaystyle f}$ 是 ${\displaystyle {\vec {w}}}$ 与 ${\displaystyle b}$ 的凸函数。因此，可以采用传统的梯度下降（或SGD）方法，其中不是在函数梯度的方向上前进，而是在从函数的次梯度中选出的向量的方向上前进。该方法的优点在于，对于某些实现，迭代次数不随着数据点的数量 ${\displaystyle n}$ 而增加或减少。[13]

SVM的坐标下降算法基于对偶问题

${\displaystyle {\text{maximize}}\,\,f(c_{1}\ldots c_{n})=\sum _{i=1}^{n}c_{i}-{\frac {1}{2}}\sum _{i=1}^{n}\sum _{j=1}^{n}y_{i}c_{i}(x_{i}\cdot x_{j})y_{j}c_{j},}$

${\displaystyle {\text{subject to }}\sum _{i=1}^{n}c_{i}y_{i}=0,\,{\text{and }}0\leq c_{i}\leq {\frac {1}{2n\lambda }}\;{\text{for all }}i.}$

对所有 ${\displaystyle i\in \{1,\,\ldots ,\,n\}}$ 进行迭代，使系数 ${\displaystyle c_{i}}$ 的方向与 ${\displaystyle \partial f/\partial c_{i}}$ 一致。然后，将所得的系数向量 ${\displaystyle (c_{1}',\,\ldots ,\,c_{n}')}$ 投影到满足给定约束的最接近的系数向量。（通常使用欧氏距离。）然后重复该过程，直到获得接近最佳的系数向量。所得的算法在实践中运行非常快，尽管已经证明的性能保证很少。[14]

SVM的有效性取决于核函数、核参数和软间隔参数 C 的选择。 通常会选只有一个参数 ${\displaystyle \gamma }$ 的高斯核。C 和 ${\displaystyle \gamma }$ 的最佳组合通常通过在 C 和 ${\displaystyle \gamma }$ 为指数增长序列下网格搜索来选取，例如 ${\displaystyle C\in \{2^{-5},2^{-3},\dots ,2^{13},2^{15}\}}$; ${\displaystyle \gamma \in \{2^{-15},2^{-13},\dots ,2^{1},2^{3}\}}$。通常情况下，使用交叉驗證来检查参数选择的每一个组合，并选择具有最佳交叉验证精度的参数。或者，最近在贝叶斯优化中的工作可以用于选择C和γ，通常需要评估比网格搜索少得多的参数组合。或者，贝叶斯优化的最近进展可以用于选择 C 和 ${\displaystyle \gamma }$，通常需要计算的参数组合比网格搜索少得多。然后，使用所选择的参数在整个训练集上训练用于测试和分类新数据的最终模型。[16]

SVM的潜在缺点包括以下方面：

• 需要对输入数据进行完全标记
• 未校准类成员概率
• SVM仅直接适用于两类任务。因此，必须应用将多类任务减少到几个二元问题的算法；请参阅多类SVM一节。
• 解出的模型的参数很难理解。