混合模型

對一維的隨機變數${\displaystyle X}$的高斯分佈存在以下機率密度函數：

${\displaystyle F_{X}(x)=P_{X}(X\leq x)={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp {(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}})}}$

其中的${\displaystyle \sigma }$為${\displaystyle X}$的標準差，${\displaystyle \mu }$為${\displaystyle X}$的期望值。

而當將高斯分佈推廣到${\displaystyle k}$維時，根據定義，若${\displaystyle k}$維的隨機向量${\displaystyle X=[X_{1},...X_{k}]^{T}}$服從多變數的常態分佈，則存在一個對稱半正定的共變異數矩陣${\displaystyle \Sigma }$以及期望值向量${\displaystyle \mu =[\mu _{1},...,\mu _{k}]^{T}}$滿足${\displaystyle X}$的特徵函數。若${\displaystyle \Sigma }$為非奇異的，則此分佈可以由以下的機率密度函數描述：

${\displaystyle {\displaystyle f_{\mathbf {x} }(x_{1},\ldots ,x_{k})={\frac {1}{\sqrt {(2\pi )^{k}|{\boldsymbol {\Sigma }}|}}}\mathrm {e} ^{-{\frac {1}{2}}({\mathbf {x} }-{\boldsymbol {\mu }})^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})},}}$${\displaystyle |\Sigma |}$為共變異數矩陣的行列式。

而高斯混合模型为单一高斯概率密度函数的延伸，用多个高斯概率密度函数（正态分布曲线）精确地量化变量分布，是将变量分布分解为若干基于高斯概率密度函数（正态分布曲线）分布的统计子模型，每個子模型可視為此混合模型的隱變量。

舉一個不是那麼嚴謹的例子，若是我們手上有一個班級中所有學生某一次考試的各項科目分數分佈，並且每一科的分數都大致依照高斯分佈。則當我們要描述每個學生的總分分佈時，單高斯模型及多維的高斯模型不一定能很好的描述這個分佈，因為每一科的分布的情形都不盡相同，此時我們可以用高斯混合分佈更好的來描述這個問題。