梯度下降法

梯度下降法的描述。

梯度下降方法基于以下的观察：如果实值函数${\displaystyle F(\mathbf {x} )}$在点${\displaystyle \mathbf {a} }$处可微且有定义，那么函数${\displaystyle F(\mathbf {x} )}$在${\displaystyle \mathbf {a} }$点沿着梯度相反的方向 ${\displaystyle -\nabla F(\mathbf {a} )}$ 下降最多。

因而，如果

${\displaystyle \mathbf {b} =\mathbf {a} -\gamma \nabla F(\mathbf {a} )}$

对于一個足够小数值${\displaystyle \gamma >0}$時成立，那么${\displaystyle F(\mathbf {a} )\geq F(\mathbf {b} )}$。

考虑到这一点，我们可以从函数${\displaystyle F}$的局部极小值的初始估计${\displaystyle \mathbf {x} _{0}}$出发，并考虑如下序列 ${\displaystyle \mathbf {x} _{0},\mathbf {x} _{1},\mathbf {x} _{2},\dots }$使得

${\displaystyle \mathbf {x} _{n+1}=\mathbf {x} _{n}-\gamma _{n}\nabla F(\mathbf {x} _{n}),\ n\geq 0}$。

因此可得到

${\displaystyle F(\mathbf {x} _{0})\geq F(\mathbf {x} _{1})\geq F(\mathbf {x} _{2})\geq \cdots ,}$

如果顺利的话序列${\displaystyle (\mathbf {x} _{n})}$收敛到期望的局部极小值。注意每次迭代步长${\displaystyle \gamma }$可以改变。

右侧的图片示例了这一过程，这里假设${\displaystyle F}$定义在平面上，并且函数图像是一个碗形。蓝色的曲线是等高线（水平集），即函数${\displaystyle F}$为常数的集合构成的曲线。红色的箭头指向该点梯度的反方向。（一点处的梯度方向与通过该点的等高线垂直）。沿着梯度下降方向，将最终到达碗底，即函数${\displaystyle F}$局部極小值的点。

• Mordecai Avriel (2003). Nonlinear Programming: Analysis and Methods. Dover Publishing. ISBN 0-486-43227-0.
• Jan A. Snyman (2005). Practical Mathematical Optimization: An Introduction to Basic Optimization Theory and Classical and New Gradient-Based Algorithms. Springer Publishing. ISBN 0-387-24348-8

• （英文）Interactive examples of gradient descent and some step size selection methods （页面存档备份，存于）
• （英文）Using gradient descent in C++, Boost, Ublas for linear regression （页面存档备份，存于）