拉奥-布莱克韦尔定理

• 一个估计量δ(X)是一个可观测的随机变量（即统计量），用于估计某些不可观测的量。例如，我们可能无法观测到X大学所有男学生的平均身高，但我们可以观测40个学生的身高。这40个学生的平均身高——"样本平均数"——可以用作估计不可观测的"总体平均数"的估计量。
• 一个充分统计量T(X)是从数据X计算出来的一个统计量，用于估计某个参数θ，而除了这个统计量以外，从数据X中计算出来的其他统计量不会提供关于θ的任何额外信息。它被定义为一个可观测的随机变量，使得给定T(X)的条件概率分布不依赖于未观测到的参数θ，例如整个数据样本的平均值或标准差等。在最常被引用的例子中，“未观测到的”量是指参数，这些参数根据已知的概率分布族来对数据进行参数化。

换句话说，对于参数θ，一个充分统计量T(X)是这样一个统计量，使得给定T(X)的条件下，数据X的条件分布不依赖于参数θ。

• 一个未观测量θ的拉奥-布莱克韦尔估计量δ₁(X)是给定充分统计量T(X)的条件下，某个估计量δ(X)的条件期望值E(δ(X)|T(X))。我们把δ(X)称为"原始估计量"，把δ₁(X)称为"改进估计量"。改进估计量的重要性在于它是可观测的，即它不依赖于θ。一般而言，给定这些数据中的一个函数的条件期望值，另一个函数的条件期望值会依赖于θ，但是上述充分统计量的定义说明了这个条件期望值不会依赖于θ。
• 不可观测量θ的拉奥-布莱克韦尔估计量δ₁(X) 是给定充分统计量T(X)的某个估计量 δ(X)的条件期望值E(δ(X)|T(X))。将δ(X) 称为“原始估计量” ，将 δ₁(X)称为“改进后的估计量” 。重要的是改进后的估计器是可观察的，即它不依赖于θ。通常，在给定这些数据的另一个函数的情况下，这些数据的一个函数的条件期望值确实取决于θ，但上面给出的充分性的定义本身就意味着这个不成立。
• 一个估计量的均方误差是它与待估计的参数θ的偏差的平方的期望值。

改进估计量无偏当且仅当原始估计量无偏，这可以立即通过使用全期望公式得到。无论使用偏倚还是无偏估计量，该定理都成立。

改进后的估计量是无偏的当且仅当原始估计量是无偏的，这可以通过使用总期望定律立即看出。无论使用有偏估计量还是无偏估计量，该定理都成立。

这个定理看起来很弱，它仅仅表明拉奥-布莱克韦尔估计量不会比原始估计量更差。但在实践中，改进通常是巨大的，因为使用充分统计量来改进估计量可以减少估计误差，提高估计的准确性。[5]

电话呼叫以平均每分钟λ个的泊松过程到达交换机板。这个速率是不可观测的，但是我们可以观测到在n个连续的一分钟时间段内到达的电话数量X₁, ..., X_n。现在我们希望估计在下一个一分钟时间段内没有电话呼叫的概率e^−λ。

一个极其粗略的估计量可以用来估计所需概率：

${\displaystyle \delta _{0}=\left\{{\begin{matrix}1&{\text{if}}\ X_{1}=0,\\0&{\text{otherwise,}}\end{matrix}}\right.}$

也就是说，如果在第一分钟内没有电话呼叫，则它会将此概率估计为1，否则估计值为0。尽管这个估计量的限制显而易见，但是通过对其进行拉奥-布莱克韦尔化处理得到的结果是一个非常好的估计量。

总和

${\displaystyle S_{n}=\sum _{i=1}^{n}X_{i}=X_{1}+\cdots +X_{n}}$

可以很容易地证明，这个求和式是λ的一个充分统计量，即数据X₁, ..., X_n的条件分布只通过这个求和式依赖于λ。因此，我们可以得到拉奥-布莱克韦尔估计量：

${\displaystyle \delta _{1}=\operatorname {E} (\delta _{0}\mid S_{n}=s_{n}).}$

通过一些计算我们可以得出

${\displaystyle {\begin{aligned}\delta _{1}&=\operatorname {E} \left(\mathbf {1} _{\{X_{1}=0\}}{\Bigg |}\sum _{i=1}^{n}X_{i}=s_{n}\right)\\&=P\left(X_{1}=0{\Bigg |}\sum _{i=1}^{n}X_{i}=s_{n}\right)\\&=P\left(X_{1}=0,\sum _{i=2}^{n}X_{i}=s_{n}\right)\times P\left(\sum _{i=1}^{n}X_{i}=s_{n}\right)^{-1}\\&=e^{-\lambda }{\frac {\left((n-1)\lambda \right)^{s_{n}}e^{-(n-1)\lambda }}{s_{n}!}}\times \left({\frac {(n\lambda )^{s_{n}}e^{-n\lambda }}{s_{n}!}}\right)^{-1}\\&={\frac {\left((n-1)\lambda \right)^{s_{n}}e^{-n\lambda }}{s_{n}!}}\times {\frac {s_{n}!}{(n\lambda )^{s_{n}}e^{-n\lambda }}}\\&=\left(1-{\frac {1}{n}}\right)^{s_{n}}\end{aligned}}}$

由于在前n分钟内到达电话的平均数量为nλ，因此如果n很大，这个估计量有相当高的概率接近于

${\displaystyle \left(1-{1 \over n}\right)^{n\lambda }\approx e^{-\lambda }.}$

因此，δ₁显然是最后一个数量的一个大大改进的估计量。事实上，由于S_n是完全的而δ₀是无偏的，根据Lehmann–Scheffé定理，δ₁是唯一的最小方差无偏估计量。

拉奥-布莱克韦尔化是一个幂等操作。使用它来改进已经改进的估计器不会获得进一步的改进，而只会返回相同的改进后的估计器作为输出。

如果条件统计量既是完全的又是充分的，并且起始估计量是无偏的，则拉奥-布莱克韦尔估计量是唯一的“最佳无偏估计量”：参见Lehmann-Scheffé 定理。

Galili Meilijson 2016年提供了一个可改进的拉奥-布莱克韦尔改进的例子，当使用一个不完全的最小充分统计量时。假设${\displaystyle X_{1},\ldots ,X_{n}}$是从比例均匀分布${\displaystyle X\sim U\left((1-k)\theta ,(1+k)\theta \right)}$ 的随机样本，其中未知均值为 ${\displaystyle E[X]=\theta }$，已知设计参数${\displaystyle k\in (0,1)}$。在寻找${\displaystyle \theta }$的“最佳”可能无偏估计器时，自然而然地考虑${\displaystyle X_{1}}$作为初始（粗糙的）无偏估计器，然后尝试改进它。由于${\displaystyle X_{1}}$不是由${\displaystyle T=\left(X_{(1)},X_{(n)}\right)}$确定的${\displaystyle \theta }$的最小充分统计量（其中${\displaystyle X_{(1)}=\min(X_{i})}$且${\displaystyle X_{(n)}=\max(X_{i})}$），因此可以使用拉奥-布莱克韦尔定理改进如下：

${\displaystyle {\hat {\theta }}_{RB}=E_{\theta }\left[X_{1}|X_{(1)},X_{(n)}\right]={\frac {X_{(1)}+X_{(n)}}{2}}.}$

但是，可以证明以下无偏估计量具有较低的方差：

${\displaystyle {\hat {\theta }}_{LV}={\frac {1}{2\left(k^{2}{\frac {n-1}{n+1}}+1\right)}}\left[(1-k){{X}_{(1)}}+(1+k){{X}_{(n)}}\right].}$

事实上，当使用以下估算量时，它甚至可以进一步改进：

${\displaystyle {\hat {\theta }}_{BAYES}={\frac {n+1}{n}}\left[1-{\frac {{\frac {\left({\frac {{X}_{(1)}}{1-k}}\right)}{\left({\frac {{X}_{(n)}}{1+k}}\right)}}-1}{{{\left[{\frac {\left({\frac {{X}_{(1)}}{1-k}}\right)}{\left({\frac {{X}_{(n)}}{1+k}}\right)}}\right]}^{n+1}}-1}}\right]{\frac {X_{(n)}}{1+k}}}$

该模型是一个比例参数模型，可以导出对于不变损失函数的最优不变估计量。 [6]

• 巴苏定理—完全充分和辅助统计的另一个结果

• Nikulin, M.S., , Hazewinkel, Michiel (编), , Springer, 2001, ISBN 978-1-55608-010-4