岭回归

岭回归（英語：）是一种在自变量高度相关的情况下估计多元回归模型系数的方法，它已被应用于计量经济学、化学和工程学等许多领域[1]，也称为吉洪諾夫正则化（英語：）[2]，以苏联数学家安德烈·吉洪諾夫的名字命名，是一种不适定问题的正则化方法[lower-alpha 1]。对于缓解线性回归中的多重共线性问题特别有用，这种问题通常出现在具有大量参数的模型中[3]。一般来说，该方法提高了参数估计问题的效率，以换取可容忍的偏差量（参见偏差-方差权衡）[4]。

统计学系列条目
迴歸分析
模型
  • 含误差变量
估计
  • 最小绝对值导数法
  • 贝叶斯
  • 贝叶斯多元
背景
  • 概率与统计主题

该理论最初由Hoerl和Kennard于1970年在他们发表在《Technometrics》上的论文《RIDGE回归：非正交问题的偏差估计》（英語：）和《RIDGE回归：在非正交问题中的应用》（英語：）中引入[5][6][1] 。

当线性回归模型具有一些多重共线性（高度相关）自变量时[7]，通过创建岭回归估计器（RR），岭回归被开发为解决最小二乘估计器不精确问题的可能解决方案。这提供了更精确的岭参数估计，因为其方差和均方估计量通常小于先前导出的最小二乘估计量[8][2]。

参考资料
  1. Hilt, Donald E.; Seegrist, Donald W. . 1977 [2023-10-09]. doi:10.5962/bhl.title.68934. （原始内容存档于2023-02-10）.
  2. Gruber, Marvin. . CRC Press. 1998: 2 [2023-10-09]. ISBN 978-0-8247-0156-7. （原始内容存档于2022-05-10）.
  3. Kennedy, Peter. Fifth. Cambridge: The MIT Press. 2003: 205–206. ISBN 0-262-61183-X.
  4. Gruber, Marvin. . Boca Raton: CRC Press. 1998: 7–15. ISBN 0-8247-0156-9.
  5. Hoerl, Arthur E.; Kennard, Robert W. . Technometrics. 1970, 12 (1): 55–67. JSTOR 1267351. doi:10.2307/1267351.
  6. Hoerl, Arthur E.; Kennard, Robert W. . Technometrics. 1970, 12 (1): 69–82. JSTOR 1267352. doi:10.2307/1267352.
  7. Beck, James Vere; Arnold, Kenneth J. . James Beck. 1977: 287 [2023-10-09]. ISBN 978-0-471-06118-2. （原始内容存档于2022-04-26）.
  8. Jolliffe, I. T. . Springer Science & Business Media. 2006: 178 [2023-10-09]. ISBN 978-0-387-22440-4. （原始内容存档于2022-04-18）.
  1. In statistics, the method is known as ridge regression, in machine learning it and its modifications are known as weight decay, and with multiple independent discoveries, it is also variously known as the Tikhonov–Miller method, the Phillips–Twomey method, the constrained linear inversion method, L2 regularization, and the method of linear regularization. It is related to the Levenberg–Marquardt algorithm for non-linear least-squares problems.
This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.