狄利克雷分布

**狄利克雷分布**
	密度函數
	分类数 (整数); concentration parameters，
值域	，，
	; ;
期望值	; ; (试看 digamma function)
眾數
	; 其中; 而且;
熵	;

狄利克雷分布是一组连续多变量概率分布，是多变量普遍化的Β分布。为了纪念德国数学家約翰·彼得·古斯塔夫·勒熱納·狄利克雷（Peter Gustav Lejeune Dirichlet）而命名。狄利克雷分布常作为贝叶斯统计的先验概率。当狄利克雷分布维度趋向无限时，这过程便称为狄利克雷过程（Dirichlet process）。

狄利克雷分布奠定了狄利克雷过程的基础，被广泛应用于自然语言处理特别是主题模型（topic model）的研究。

概率密度函数

此图展示了当K=3、参数α从α=(0.3, 0.3, 0.3)变化到(2.0, 2.0, 2.0)时，密度函数取对数后的变化。

维度K ≥ 2的狄利克雷分布在参数α₁, ..., α_K > 0上、基于欧几里得空间R^K-1里的勒贝格测度有个概率密度函数，定义为：

f(x_{1},\dots ,x_{K};\alpha _{1},\dots ,\alpha _{K})={\frac {1}{\mathrm {B} (\alpha )}}\prod _{i=1}^{K}x_{i}^{\alpha _{i}-1}

其中 ${\boldsymbol {x}}$ 满足 $\sum _{i=1}^{K}x_{i}=1$ ，同时对于任意 $i\in \{1,\dots ,K\}$ ，都有 $x_{i}\geq 0$ 。即 ${\boldsymbol {x}}$ 在(K − 1)维的单纯形开集上密度为0。

归一化衡量B(α)是多项Β函数，可以用Γ函数（gamma function）表示：

\mathrm {B} (\alpha )={\frac {\prod _{i=1}^{K}\Gamma (\alpha _{i})}{\Gamma {\bigl (}\sum _{i=1}^{K}\alpha _{i}{\bigr )}}},\qquad \alpha =(\alpha _{1},\dots ,\alpha _{K}).

参见

參考

This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.

密度函數
	$K\geq 2$ 分类数 (整数) $\alpha _{1},\ldots ,\alpha _{K}$ concentration parameters， $\alpha _{i}>0$
值域	$x_{1},\ldots ,x_{K}$ ， $x_{i}\in (0,1)$ ， $\sum _{i=1}^{K}x_{i}=1$
	${\frac {1}{\mathrm {B} ({\boldsymbol {\alpha }})}}\prod _{i=1}^{K}x_{i}^{\alpha _{i}-1}$ $\mathrm {B} ({\boldsymbol {\alpha }})={\frac {\prod _{i=1}^{K}\Gamma (\alpha _{i})}{\Gamma {\bigl (}\sum _{i=1}^{K}\alpha _{i}{\bigr )}}}$ ${\boldsymbol {\alpha }}=(\alpha _{1},\ldots ,\alpha _{K})$
期望值	$\operatorname {E} [X_{i}]={\frac {\alpha _{i}}{\sum _{k}\alpha _{k}}}$ $\operatorname {E} [\ln X_{i}]=\psi (\alpha _{i})-\psi (\textstyle \sum _{k}\alpha _{k})$ (试看 digamma function)
眾數	$x_{i}={\frac {\alpha _{i}-1}{\sum _{k=1}^{K}\alpha _{k}-K}},\quad \alpha _{i}>1.$
	$\operatorname {Var} [X_{i}]={\frac {{\tilde {\alpha }}_{i}(1-{\tilde {\alpha }}_{i})}{{\bar {\alpha }}+1}},$ 其中 ${\tilde {\alpha }}_{i}={\frac {\alpha _{i}}{\sum _{i=1}^{K}\alpha _{i}}}$ 而且 ${\bar {\alpha }}=\sum _{i=1}^{K}\alpha _{i}$ $\operatorname {Cov} [X_{i},X_{j}]={\frac {-{\tilde {\alpha }}_{i}{\tilde {\alpha }}_{j}}{{\bar {\alpha }}+1}}~~(i\neq j)$
熵	$H(X)=\log \mathrm {B} (\alpha )+(\alpha _{0}-K)\psi (\alpha _{0})-\sum _{j=1}^{K}(\alpha _{j}-1)\psi (\alpha _{j})$