普通最小二乘法

在回归分析当中，最常用的估计${\displaystyle \beta }$（回归系数）的方法是普通最小二乘法（英語：，簡稱OLS），它基於誤差值之上。用這種方法估计${\displaystyle \beta }$，首先要計算残差平方和（；RSS），RSS是指将所有误差值的平方加起來得出的数：

统计学系列条目
迴歸分析
模型
線性回歸 简单线性回归 （OLS） 多项式回归 一般线性模型
廣義線性模式 离散选择 对数几率回归 多项罗吉特 混合罗吉特 波比 多项式波比 排序性模型 有序波比 泊松回归
等级线性模型 固定效应 随机效应 混合模型
非线性回归 非 半 稳健 分位数迴歸 保序回归 主成分 最小角 局部 分段
含误差变量
估计
线性 偏最小二乘回归 广义 加权 非线性 非负 重复再加权 脊迴歸（嶺迴歸） LASSO
最小绝对值导数法 贝叶斯 贝叶斯多元
背景
回归模型检验 平均响应和预测响应 误差和残差 拟合优度 学生化残差
概率与统计主题

${\displaystyle RSS=\sum _{i=1}^{n}e_{i}^{2}\,}$

${\displaystyle \beta _{0}}$與${\displaystyle \beta _{1}}$的数值可以用以下算式计算出來：

${\displaystyle {\widehat {\beta }}_{1}={\frac {\sum (x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum (x_{i}-{\bar {x}})^{2}}}}$

${\displaystyle {\widehat {\beta }}_{0}={\bar {y}}-{\widehat {\beta }}_{1}{\bar {x}}}$

当中${\displaystyle {\bar {x}}}$為${\displaystyle x}$的平均值，而${\displaystyle {\bar {y}}}$為${\displaystyle y}$的平均值。

假设总体的误差值有一个固定的變異數，這个變異數可以用以下算式估计：

${\displaystyle {\hat {\sigma }}_{\varepsilon }^{2}={\frac {RSS}{n-2}}.\,}$

這個数就是均方误差（mean square error），這個分母是样本大小减去模型要估计的参数的量。這個回归模型当中有两个未知的参数（${\displaystyle \beta _{0}}$與${\displaystyle \beta _{1}}$）。[1]

而這些参数估计的标准误差（standard error）為：

${\displaystyle {\hat {\sigma }}_{\beta _{1}}={\hat {\sigma }}_{\varepsilon }{\sqrt {\frac {1}{\sum (x_{i}-{\bar {x}})^{2}}}}}$

${\displaystyle {\hat {\sigma }}_{\beta _{0}}={\hat {\sigma }}_{\varepsilon }{\sqrt {{\frac {1}{n}}+{\frac {{\bar {x}}^{2}}{\sum (x_{i}-{\bar {x}})^{2}}}}}={\hat {\sigma }}_{\beta _{1}}{\sqrt {\frac {\sum x_{i}^{2}}{n}}}}$

有了上面這个模型，研究者手上就有会有${\displaystyle \beta _{0}}$與${\displaystyle \beta _{1}}$的估计值，就可以用這個算式來预测${\displaystyle Y}$的数值。