坐标下降法

坐标下降法基于的思想是多变量函数${\displaystyle F(\mathbf {x} )}$可以通过每次沿一个方向优化来获取最小值。与通过梯度获取最速下降的方向不同，在坐标下降法中，优化方向从算法一开始就予以固定。例如，可以选择线性空间的一组基${\displaystyle \mathbf {e} _{1},\mathbf {e} _{2},\dots ,\mathbf {e} _{n}}$作为搜索方向。 在算法中，循环最小化各个坐标方向上的目标函数值。亦即，如果${\displaystyle \mathbf {x} ^{k}}$已给定，那么，${\displaystyle \mathbf {x} ^{k+1}}$的第${\displaystyle i}$个维度为

${\displaystyle \mathbf {x} _{i}^{k+1}={\underset {y\in \mathbb {R} }{\operatorname {arg\,min} }}\;f(x_{1}^{k+1},...,x_{i-1}^{k+1},y,x_{i+1}^{k},...,x_{n}^{k});}$

因而，从一个初始的猜测值${\displaystyle \mathbf {x} _{0}}$以求得函数${\displaystyle F}$的局部最优值，可以迭代获得${\displaystyle \mathbf {x} _{0},\mathbf {x} _{1},\mathbf {x} _{2},\dots }$的序列。

通过在每一次迭代中采用一维搜索，可以很自然地获得不等式

${\displaystyle F(\mathbf {x} _{0})\geq F(\mathbf {x} _{1})\geq F(\mathbf {x} _{2})\geq \cdots ,}$

可以知道，这一序列与最速下降具有类似的收敛性质。如果在某次迭代中，函数得不到优化，说明一个驻点已经达到。

这一过程可以用下图表示。

例子

对于非平滑函数，坐标下降法可能会遇到问题。下图展示了当函数等高线非平滑时，算法可能在非驻点中断执行。

坐标下降法在机器学习中有应用，例如训练线性支持向量机[1]（可见LIBLINEAR）以及非负矩阵分解[2]。

• 自适应坐标下降法
• 共轭梯度法
• 梯度下降法
• 牛顿法
• 最优化
• 一维搜索

• Bezdek, J. C.; Hathaway, R. J.; Howard, R. E.; Wilson, C. A.; Windham, M. P., , Journal of Optimization theory and applications 54 (3) (Kluwer Academic/Plenum Publishers), 1987, 54 (3): 471–477, doi:10.1007/BF00940196
• Bertsekas, Dimitri P. (1999). Nonlinear Programming, Second Edition Athena Scientific, Belmont, Massachusetts. ISBN 1-886529-00-0.
• Canutescu, AA; Dunbrack, RL, , Protein science 12 (5), 2003, 12 (5): 963–72, PMID 12717019.
• Luo, Zhiquan; Tseng, P., , Journal of Optimization theory and applications 72 (1) (Kluwer Academic/Plenum Publishers), 1992, 72 (1): 7–35, doi:10.1007/BF00939948.
• Wu, TongTong; Lange, Kenneth, , The Annals of Applied Statistics 2 (1) (Institute of Mathematical Statistics), 2008, 2 (1): 224–244, doi:10.1214/07-AOAS147.
• Richtarik, Peter; Takac, Martin, , Mathematical Programming (Springer), April 2011, doi:10.1007/s10107-012-0614-z.
• Richtarik, Peter; Takac, Martin, , arXiv:1212.0873, December 2012.