二項式分布

进行${\displaystyle \,n\,}$次独立伯努利试验的结果可以由${\displaystyle \,n\,}$个字母表示，例如用${\displaystyle \,S\,}$表示成功，${\displaystyle \,F\,}$表示失败，则

${\displaystyle SSFSF}$

表示五次试验中第一、二、四次的结果为成功，其余为失败。设每次试验成功的概率为${\displaystyle \,p\,}$，失败的概率为${\displaystyle \,1-p\,}$。因为试验相互独立，每一种排列${\displaystyle \,k\,}$个${\displaystyle \,S\,}$、${\displaystyle \,n-k\,}$个${\displaystyle \,F\,}$的方式对应的概率为${\displaystyle \,p^{k}(1-p)^{n-k}\,}$。[1]

从${\displaystyle \,n\,}$个不同元素中选出含${\displaystyle \,k\,}$个元素的子集的方法数量等于二项式系数

${\displaystyle {n \choose k}={\frac {n!}{k!(n-k)!}}.}$[4]

而每种对${\displaystyle \,k\,}$个${\displaystyle \,S\,}$、${\displaystyle \,n-k\,}$个${\displaystyle \,F\,}$的排列都可理解为从${\displaystyle \,n\,}$个位置中选出${\displaystyle \,k\,}$个作为字母${\displaystyle \,S\,}$的位置的方法，这种方法的数量即为${\displaystyle \,{n \choose k}\,}$。与每种排列方式对应的概率相乘，便得到定义中的概率

${\displaystyle {n \choose k}p^{k}(1-p)^{n-k}.}$[5]

若${\displaystyle \,X_{1},X_{2}\,}$两个随机变量独立，分别服从参数为${\displaystyle \,n_{1},p\,}$和${\displaystyle \,n_{2},p\,}$的二项分布，则${\displaystyle \,X_{1}+X_{2}\,}$即是在${\displaystyle \,n_{1}+n_{2}\,}$次独立伯努利试验中取得成功的次数，所以${\displaystyle \,X_{1}+X_{2}\,}$服从参数为${\displaystyle \,n_{1}+n_{2},p\,}$的二项分布。这一结论亦可通过将两者的概率母函数相乘而得出。在条件${\displaystyle \,X_{1}+X_{2}=k\,}$之下，随机变量${\displaystyle \,X_{1}\,}$的条件概率分布是参数为${\displaystyle \,k,n_{1},n_{1}+n_{2}\,}$的超几何分布。[14]

计算${\displaystyle \,\Pr(X=k)\,}$和${\displaystyle \,\Pr(X=k+1)\,}$的比值可以得到

${\displaystyle {\frac {\Pr(X=k+1)}{\Pr(X=k)}}={\frac {(n-k)p}{(k+1)(1-p)}}\quad (k=0,1,\ldots ,n-1),}$

因此，当${\displaystyle \,k<(n+1)p-1\,}$时，${\displaystyle \,\Pr(X=k)\,}$随${\displaystyle \,k\,}$增加而上升；当${\displaystyle \,k>(n+1)p-1\,}$时，${\displaystyle \,\Pr(X=k)\,}$随${\displaystyle \,k\,}$增加而下降。故二项分布的众数为${\displaystyle \,(n+1)p\,}$的下取整${\displaystyle \,\lfloor (n+1)p\rfloor \,}$。若${\displaystyle \,(n+1)p\,}$本身是整数，则${\displaystyle \,(n+1)p\,}$和${\displaystyle \,(n+1)p-1\,}$均是众数。若${\displaystyle \,p<(n+1)^{-1}\,}$，则众数为${\displaystyle \,0\,}$。[15]

二项分布的中位数${\displaystyle \,m\,}$位于${\displaystyle \,np\,}$的上下取整之间，即${\displaystyle \,\lfloor np\rfloor \leq m\leq \lceil np\rceil \,}$；若${\displaystyle \,np\,}$为整数，则中位数${\displaystyle \,m=np\,}$。中位数${\displaystyle \,m\,}$和期望值${\displaystyle \,np\,}$之间的差满足

${\displaystyle |m-np|<\max\{p,1-p\}.}$

若${\displaystyle \,p>\ln 2\,}$或${\displaystyle \,p<1-\ln 2\,}$，则该上界可进一步缩减为

${\displaystyle |m-np|<\ln 2.}$

若${\displaystyle \,n\,}$为奇数、${\displaystyle \,p=1/2\,}$，则${\displaystyle \,(n-1)/2\,}$和${\displaystyle \,(n+1)/2\,}$均为中位数。[16][17]

二项分布的累积分布函数和尾概率可以用正则化不完全贝塔函数表示为

${\displaystyle \Pr(X\leq k)=I_{1-p}(n-\lfloor k\rfloor ,\lfloor k\rfloor +1),}$

${\displaystyle \Pr(X\geq k)=I_{p}(\lceil k\rceil ,n-\lceil k\rceil +1).}$[18]

二项分布的${\displaystyle \,r\,}$阶原点矩满足

${\displaystyle \mu '_{r}=E[X^{r}]=\sum _{j=0}^{r}{\frac {S(r,j)n!p^{j}}{(n-j)!}},}$

其中${\displaystyle \,S(r,j)\,}$表示第二类斯特林数。具体而言，

${\displaystyle \mu '_{1}=np,}$

${\displaystyle \mu '_{2}=np+n(n-1)p^{2},}$

${\displaystyle \mu '_{3}=np+3n(n-1)p^{2}+n(n-1)(n-2)p^{3},}$

${\displaystyle \mu '_{4}=np+7n(n-1)p^{2}+6n(n-1)(n-2)p^{3}+n(n-1)(n-2)(n-3)p^{4}.}$

其低阶中心矩为

${\displaystyle \mu _{2}=np(1-p),}$

${\displaystyle \mu _{3}=np(1-p)(1-2p),}$

${\displaystyle \mu _{4}=3[np(1-p)]^{2}+np(1-p)[1-6p(1-p)].}$[19]

${\displaystyle n=6}$、${\displaystyle p=0.5}$时的二项分布及其正态近似

标准二项分布

${\displaystyle X'={\frac {X-np}{\sqrt {np(1-p)}}}}$

在${\displaystyle \,n\to \infty \,}$时趋近于标准正态分布。这一结果称作棣莫弗-拉普拉斯定理，为中心极限定理的特殊形式。基于这一定理可以得到

${\displaystyle \Pr(\alpha <{\frac {X-np}{\sqrt {np(1-p)}}}<\beta )\to \Phi (\beta )-\Phi (\alpha ),}$

其中${\displaystyle \,\Phi \,}$为标准正态分布的累积分布函数。[20]

正态分布为连续概率分布，在近似二项分布这类离散概率分布时，可将端点向外偏移${\displaystyle \,0.5\,}$得到

${\displaystyle \Pr(X\leq k)\approx \Phi \left({\frac {k+0.5-np}{\sqrt {np(1-p)}}}\right),}$

从而提升近似的准确性，这种技巧称作连续性校正[21]。何时能采用这一近似依赖于使用经验法则，例如要求${\displaystyle \,np(1-p)>9\,}$，或是在${\displaystyle \,p\leq 0.5\,}$时要求${\displaystyle \,np>5\,}$、在${\displaystyle \,p>0.5\,}$时要求${\displaystyle \,n(1-p)>5\,}$。[22][23]

当${\displaystyle \,n\to \infty ,p\to 0\,}$，而${\displaystyle \,np\,}$保持不变时，二项分布趋近于参数为${\displaystyle \,np\,}$的泊松分布。以此为基础可以得到

${\displaystyle \Pr(X\leq k)\approx e^{-np}\sum _{j=0}^{k}{\frac {(np)^{j}}{j!}}.}$[24]

二项分布与其泊松近似之间的绝对误差存在上界。若随机变量${\displaystyle \,X\,}$服从参数为${\displaystyle \,n,p\,}$的二项分布，随机变量${\displaystyle \,Y\,}$服从参数为${\displaystyle \,np\,}$的泊松分布，则

${\displaystyle \sum _{k=0}^{\infty }\|\Pr(X=k)-\Pr(Y=k)\|\leq \min\{2np^{2},3p\}.}$[25]

通常参数${\displaystyle \,n\,}$为已知。假设随机变量${\displaystyle \,X\,}$服从二项分布，其参数${\displaystyle \,p\,}$未知。若观测到${\displaystyle \,X\,}$的值为${\displaystyle \,x\,}$，采用矩估计和最大似然估计对参数${\displaystyle \,p\,}$的估计量均为${\displaystyle \,{\frac {x}{n}}\,}$，这一估计量为无偏的。[26]

参数${\displaystyle \,p\,}$的贝叶斯估计量取决于使用的先验分布。若使用连续型均匀分布作为先验分布，即假设${\displaystyle \,0\,}$和${\displaystyle \,1\,}$之间任意等长的区间包含${\displaystyle \,p\,}$的概率都相同，则后验均值估计量为

${\displaystyle {\widehat {p}}={\frac {x+1}{n+2}}.}$

这被称作拉普拉斯–贝叶斯估计量，曾被皮埃尔-西蒙·拉普拉斯用于估计在太阳连续升起${\displaystyle \,n\,}$天之后，太阳明天还会升起的概率。由于人类知道太阳在过去五千年，即1,826,213天都正常升起，拉普拉斯愿意以1,826,214比1的赔率赌太阳明天继续升起。[27]

若使用参数为${\displaystyle \,\alpha ,\beta \,}$的贝塔分布作为先验分布，则后验均值估计量为

${\displaystyle {\widehat {p}}={\frac {\alpha +x+1}{\alpha +\beta +n+2}}.}$

采用贝塔分布作为先验分布时，后验分布亦是贝塔分布，即贝塔分布为二项分布的共轭先验。[28]

若要对参数${\displaystyle \,p\,}$以区间形式给出估计，通过求解

${\displaystyle \sum _{j=x}^{n}{n \choose j}p_{L}^{j}(1-p_{L})^{n-j}={\frac {\alpha }{2}},}$

${\displaystyle \sum _{j=0}^{x}{n \choose j}p_{U}^{j}(1-p_{U})^{n-j}={\frac {\alpha }{2}},}$

所得的区间${\displaystyle \,(p_{L},p_{U})\,}$为一个置信水平近似为${\displaystyle \,1-\alpha \,}$的置信区间，称作克洛珀-皮尔逊区间（）。[29]

正态分布可以用于推导近似的置信区间。若用${\displaystyle \,\lambda _{\alpha /2}\,}$表示标准正态分布的第${\displaystyle \,1-{\frac {\alpha }{2}}\,}$分位数，即${\displaystyle \,\Phi (\lambda _{\alpha /2})=1-{\frac {\alpha }{2}}\,}$，则区间两端的近似值为

${\displaystyle {\frac {x}{n}}\pm {\frac {\lambda _{\alpha /2}}{\sqrt {n}}}{\sqrt {{\frac {x}{n}}\left(1-{\frac {x}{n}}\right)}}.}$[30][31]