梯度提升技术

（本节遵循Li对梯度增强的说明[6]。）

与其他增强方法一样，梯度增强以迭代方式将弱的“学习器”组合为一个强学习器。最简单的解释是在最小二乘回归中，通过最小化均方误差 ${\displaystyle {\tfrac {1}{n}}\sum _{i}({\hat {y}}_{i}-y_{i})^{2}}$ ，“教”模型${\displaystyle F}$预测实数值${\displaystyle {\hat {y}}=F(x)}$。

在梯度提升的每个阶段 ${\displaystyle m}$, ${\displaystyle 1\leq m\leq M}$, 假设已经有一个不太完美的模型 ${\displaystyle F_{m}}$ (最开始时只是一个预测输出变量 y 均值的模型)。 梯度提升算法通过在当前模型 ${\displaystyle F_{m}}$ 增加一个新的估计量 h 得到一个更好的模型: ${\displaystyle F_{m+1}(x)=F_{m}(x)+h(x)}$. 为了求得 ${\displaystyle h}$, 梯度提升基于以下观察：一个完美的 h 可以完美预测当前不完美模型${\displaystyle F_{m}}$的残差，即满足，

${\displaystyle F_{m+1}(x)=F_{m}(x)+h(x)=y}$

或者，等效地有，

${\displaystyle h(x)=y-F_{m}(x)}$.

因此，梯度提升通过拟合残差 ${\displaystyle y-F_{m}(x)}$得到 h 。和其他提升方法的变体一样, ${\displaystyle F_{m+1}}$ 通过纠正 ${\displaystyle F_{m}}$的误差变得更完美。 这个想法可以扩展到均方误差损失之外的任意损失函数，甚至扩展到分类与排序问题，只要观察到以下一点：模型的残差 ${\displaystyle y-F_{m}(x)}$就是均方损失函数${\displaystyle {\frac {1}{2}}(y-F(x))^{2}}$关于${\displaystyle F(x)}$的负梯度。因此，梯度提升其实是一种 梯度下降算法，可以代入除了均方损失之外的不同的损失函数，得到不同的梯度。

在许多有监督学习问题中，一个输出变量y和一个输入变量x通过联合概率分布${\displaystyle P(x,y)}$描述 。给定训练集${\displaystyle \{(x_{1},y_{1}),\dots ,(x_{n},y_{n})\}}$，目的是在所有具有给定形式的函数${\displaystyle F(x)}$中找到一个${\displaystyle {\hat {F}}(x)}$使某些指定损失函数${\displaystyle L(y,F(x))}$的期望值达到最小：

${\displaystyle {\hat {F}}={\underset {F}{\arg \min }}\,\mathbb {E} _{x,y}[L(y,F(x))]}$.

梯度提升方法通过某一类${\displaystyle {\mathcal {H}}}$中弱学习器（或称基学习器）${\displaystyle h_{i}(x)}$带权重和的形式来表示对实值变量y做出估计的${\displaystyle {\hat {F}}(x)}$:

${\displaystyle {\hat {F}}(x)=\sum _{i=1}^{M}\gamma _{i}h_{i}(x)+{\mbox{const}}}$.

根据经验风险最小化原理，该方法试图找到一个近似${\displaystyle {\hat {F}}(x)}$可以最大程度地减少训练集上损失函数的平均值，即，最小化经验风险。它是从一个由常数函数组成的模型${\displaystyle F_{0}(x)}$开始 ，并以贪心的方式逐步扩展：

${\displaystyle F_{0}(x)={\underset {\gamma }{\arg \min }}{\sum _{i=1}^{n}{L(y_{i},\gamma )}}}$,

${\displaystyle F_{m}(x)=F_{m-1}(x)+{\underset {h_{m}\in {\mathcal {H}}}{\operatorname {arg\,min} }}\left[{\sum _{i=1}^{n}{L(y_{i},F_{m-1}(x_{i})+h_{m}(x_{i}))}}\right]}$,

上式${\displaystyle h_{m}\in {\mathcal {H}}}$是基学习器。

不幸的是，通常在每个步骤中为任意损失函数L选择最佳函数h是计算上不可行的优化问题。因此，我们将方法局限于问题的简化版本。

这个想法是对这个最小化问题（函数梯度下降）应用梯度下降步骤。如果我们考虑连续情况，即${\displaystyle {\mathcal {H}}}$是上的任意微分函数的集合${\displaystyle \mathbb {R} }$ ，我们将根据以下方程式更新模型

${\displaystyle F_{m}(x)=F_{m-1}(x)-\gamma _{m}\sum _{i=1}^{n}{\nabla _{F_{m-1}}L(y_{i},F_{m-1}(x_{i}))},}$

${\displaystyle \gamma _{m}={\underset {\gamma }{\arg \min }}{\sum _{i=1}^{n}{L\left(y_{i},F_{m-1}(x_{i})-\gamma \nabla _{F_{m-1}}L(y_{i},F_{m-1}(x_{i}))\right)}},}$

式子中，对于${\displaystyle i\in \{1,..,m\}}$是关于函数${\displaystyle F_{i}}$求导，${\displaystyle \gamma _{m}}$是步长。 但是在离散情况下，即${\displaystyle {\mathcal {H}}}$如果是有限的，我们选择最接近L梯度的候选函数h ，然后可以根据上述等式通过线搜索来计算系数γ。请注意，这种方法是一种启发式方法，因此不能给出给定问题的精确解决方案，而是一种近似方法。 在伪代码中，通用梯度增强方法是[2][7]：

梯度提升通常与固定大小的决策树 （尤其是CART树）一起用作基础学习者。 对于这种特殊情况，Friedman提出了对梯度增强方法的改进，以提高每个基础学习者的适应质量。

第m步的通用梯度提升将适合决策树${\displaystyle h_{m}(x)}$伪残留物。 让${\displaystyle J_{m}}$是它的叶子数。 树将输入空间划分为${\displaystyle J_{m}}$不相交的区域${\displaystyle R_{1m},\ldots ,R_{J_{m}m}}$并预测每个区域的恒定值。 使用指标符号 ，输出${\displaystyle h_{m}(x)}$输入x可以写为和：

${\displaystyle h_{m}(x)=\sum _{j=1}^{J_{m}}b_{jm}\mathbf {1} _{R_{jm}}(x),}$

这里${\displaystyle b_{jm}}$是该区域中预测的值${\displaystyle R_{jm}}$[lower-alpha 1]。

然后系数${\displaystyle b_{jm}}$乘以一些值${\displaystyle \gamma _{m}}$ ，使用线搜索进行选择，以最大程度地减少损失函数，并按以下方式更新模型：

${\displaystyle F_{m}(x)=F_{m-1}(x)+\gamma _{m}h_{m}(x),\quad \gamma _{m}={\underset {\gamma }{\operatorname {arg\,min} }}\sum _{i=1}^{n}L(y_{i},F_{m-1}(x_{i})+\gamma h_{m}(x_{i})).}$

弗里德曼（Friedman）建议修改此算法，以便选择一个单独的最佳值${\displaystyle \gamma _{jm}}$每个树的区域，而不是单个${\displaystyle \gamma _{m}}$为整棵树。 他称修改后的算法为“ TreeBoost”。 系数${\displaystyle b_{jm}}$然后可以简单地丢弃树拟合过程中的数据，模型更新规则变为：

${\displaystyle F_{m}(x)=F_{m-1}(x)+\sum _{j=1}^{J_{m}}\gamma _{jm}\mathbf {1} _{R_{jm}}(x),\quad \gamma _{jm}={\underset {\gamma }{\operatorname {arg\,min} }}\sum _{x_{i}\in R_{jm}}L(y_{i},F_{m-1}(x_{i})+\gamma ).}$

过于紧密地拟合训练集可能导致模型的泛化能力下降。 几种所谓的正则化技术通过限制拟合过程来减少这种过度拟合的效果。

一个自然的正则化参数是梯度提升迭代的次数M（即，当基础学习者是决策树时，模型中的树的数量）。M的增加会减少训练集上的误差，但将其设置得过高可能会导致过度拟合。 通常通过监视单独的验证数据集上的预测误差来选择M的最佳值。 除了控制M外，还使用其他几种正则化技术。

另一个正则化参数是树的深度。 该值越高，模型越可能适合训练数据。

梯度提升可以用于学习排名 。 商业网络搜索引擎Yahoo [11]和Yandex [12]在其机器学习的排名引擎中使用了梯度增强的变体。

该方法有多种名称。弗里德曼（Friedman）将他的回归技术称为“梯度提升机”（GBM）。 [2] 梅森，巴克斯特等。将广义的算法抽象类描述为“功能梯度提升”[4][5]。弗里德曼（Friedman）等人。将梯度提升模型的进展描述为多重可加回归树（MART）[13]；Elith等。将这种方法描述为“增强回归树”（BRT）[14]。

R的一种流行的开源实现将其称为“通用提升模型”[8]。但是，使用BRT扩展这项工作的软件包。 [15] Salford Systems的商业实现使用名称“ Multiple Additive Regression Trees”（MART）和TreeNet，两者均为商标。  

• AdaBoost
• 随机森林
• XGBoost
• CatBoost
• 决策树学习

• 如何解释梯度提升 （页面存档备份，存于）
• 梯度增强回归树 （页面存档备份，存于）