隐马尔可夫模型

令${\displaystyle X_{n}}$、${\displaystyle Y_{n}}$为离散时间随机过程， ${\displaystyle n\geq 1}$。则${\displaystyle (X_{n},Y_{n})}$是隐马尔可夫模型的条件是：

• ${\displaystyle X_{n}}$是马尔可夫过程，其行为不可直接观测（“隐”）；
• ${\displaystyle \operatorname {\mathbf {P} } {\bigl (}Y_{n}\in A\ {\bigl |}\ X_{1}=x_{1},\ldots ,X_{n}=x_{n}{\bigr )}=\operatorname {\mathbf {P} } {\bigl (}Y_{n}\in A\ {\bigl |}\ X_{n}=x_{n}{\bigr )},}$

${\displaystyle \forall n\geq 1,\ x_{1},\ldots ,x_{n},}$，且对每个博雷尔集${\displaystyle A}$。

令${\displaystyle X_{t}}$、${\displaystyle Y_{t}}$为连续时间随机过程。则${\displaystyle (X_{t},Y_{t})}$是隐马尔可夫模型的条件是：

• ${\displaystyle X_{t}}$是马尔可夫过程，其行为不可直接观测（“隐”）；
• ${\displaystyle \operatorname {\mathbf {P} } (Y_{t_{0}}\in A\mid \{X_{t}\in B_{t}\}_{t\leq t_{0}})=\operatorname {\mathbf {P} } (Y_{t_{0}}\in A\mid X_{t_{0}}\in B_{t_{0}})}$,

${\displaystyle \forall t_{0}}$、每个博雷尔集${\displaystyle A,}$且每族博雷尔集${\displaystyle \{B_{t}\}_{t\leq t_{0}}.}$

下边的图示强调了HMM的状态变迁。有时，明确的表示出模型的演化也是有用的，我们用 x(t₁) 与 x(t₂) 来表达不同时刻 t₁ 和 t₂ 的状态。

圖中箭頭方向則表示不同資訊間的關聯性，因此可以得知${\displaystyle x(t)}$和${\displaystyle x(t-1)}$有關，而${\displaystyle x(t-1)}$又和${\displaystyle x(t-2)}$有關。

而每個${\displaystyle y(t)}$只和${\displaystyle x(t)}$有關，其中${\displaystyle x(t)}$我們稱為隱藏變數（hidden variable），是觀察者無法得知的變數。

隱性馬可夫模型常被用來解決有未知條件的數學問題。

假設隱藏狀態的值對應到的空間有${\displaystyle N}$個元素，也就是說在時間${\displaystyle t}$時，隱藏狀態會有${\displaystyle N}$種可能。

同樣的，${\displaystyle t+1}$也會有${\displaystyle N}$種可能的值，所以從${\displaystyle t}$到${\displaystyle t+1}$間的關係會有${\displaystyle N^{2}}$種可能。

除了${\displaystyle x(t)}$間的關係外，每組${\displaystyle x(t),y(t)}$間也有對應的關係。

若觀察到的${\displaystyle y(t)}$有${\displaystyle M}$種可能的值，則从${\displaystyle x(t)}$到${\displaystyle y(t)}$的输出模型复杂度為${\displaystyle O(NM)}$。如果${\displaystyle y(t)}$是一个${\displaystyle M}$维的向量，则从${\displaystyle x(t)}$到${\displaystyle y(t)}$的输出模型复杂度為${\displaystyle O(NM^{2})}$。

Temporal evolution of a hidden Markov model

在这个图中,每一个时间块（x(t), y(t)）都可以向前或向后延伸。通常，时间的起点被设置为t=0 或 t=1.

假設觀察到的結果為${\displaystyle Y}$

${\displaystyle Y=y(0),y(1),...,y(L-1)}$

隱藏條件為${\displaystyle X}$

${\displaystyle X=x(0),x(1),...,x(L-1)}$

長度為${\displaystyle L}$，則馬可夫模型的機率可以表達為：

${\displaystyle P(Y)=\sum _{X}P(Y\mid X)P(X)\,}$

由這個機率模型來看，可以得知馬可夫模型將該時間點前後的資訊都納入考量。

HMM有三个典型(canonical)问题:

• 预测(filter)：已知模型参数和某一特定输出序列，求最后时刻各个隐含状态的概率分布，即求 ${\displaystyle P(x(t)\ |\ y(1),\dots ,y(t))}$。通常使用前向算法解决。
• 平滑(smoothing)：已知模型参数和某一特定输出序列，求中间时刻各个隐含状态的概率分布，即求 ${\displaystyle P(x(k)\ |\ y(1),\dots ,y(t)),k<t}$。通常使用前向-后向算法解决。
• 解码(most likely explanation)：已知模型参数，寻找最可能的能产生某一特定输出序列的隐含状态的序列，即求 ${\displaystyle P([x(1)\dots x(t)]|[y(1)\dots ,y(t)])}$。通常使用Viterbi算法解决。

此外，已知输出序列，寻找最可能的状态转移以及输出概率.通常使用Baum-Welch算法以及Viterbi algorithm解决。另外,最近的一些方法使用联结树算法来解决这三个问题。

 states = ('Rainy', 'Sunny')
 
 observations = ('walk', 'shop', 'clean')
 
 start_probability = {'Rainy': 0.6, 'Sunny': 0.4}
 
 transition_probability = {
    'Rainy' : {'Rainy': 0.7, 'Sunny': 0.3},
    'Sunny' : {'Rainy': 0.4, 'Sunny': 0.6},
    }
 
 emission_probability = {
    'Rainy' : {'walk': 0.1, 'shop': 0.4, 'clean': 0.5},
    'Sunny' : {'walk': 0.6, 'shop': 0.3, 'clean': 0.1},
    }

下图展示了实例化HMM的一般结构。椭圆形代表随机变量，可采用多个数值中的任意一种。随机变量${\displaystyle x(t)}$是t时刻的隐状态（图示模型中${\displaystyle x(t)\in \{x_{1},\ x_{2},\ x_{3}\}}$）；随机变量y(t)是t时刻的观测值（${\displaystyle y(t)\in \{x_{1},\ x_{2},\ x_{3},\ y_{4}\}}$）；箭头表示条件依赖关系。

隐马尔可夫模型的时间演化

图中可清楚看出，给定隐变量${\displaystyle x(t)}$在时间t的条件概率分布只取决于隐变量${\displaystyle x(t-1)}$的值，之前的则没有影响，这就是所谓马尔可夫性质。观测变量${\displaystyle y(t)}$同理，只取决于隐变量${\displaystyle x(t)}$的值。

在本文所述标准HMM中，隐变量的状态空间是离散的，而观测值本身则可以离散（一般来自分类分布）也可以连续（一般来自正态分布）。HMM参数有两类：转移概率与输出概率，前者控制${\displaystyle t-1}$时刻的隐状态下，如何选择t时刻的隐状态。

隐状态空间一般假设包含N个可能值，以分类分布为模型。这意味着，对隐变量在t时刻可能所处的N种状态中的每种，都有到${\displaystyle t+1}$时刻可能的N种状态的转移概率，共有${\displaystyle N^{2}}$个转移概率。注意从任意给定状态转移的转移概率之和须为1。于是，转移概率构成了N阶方阵，称作马尔可夫矩阵。由于任何转移概率都可在已知其他概率的情形下确定，因此共有${\displaystyle N(N-1)}$个转移参数。

此外，对N种可能状态中的每种，都有一组输出概率，在给定隐状态下控制着观测变量的分布。这组概率的大小取决于观测变量的性质，例如，若观测变量是离散的，有M种值、遵循分类分布，则有${\displaystyle M-1}$个独立参数，所有隐状态下共有${\displaystyle N(M-1)}$个输出概率参数。若观测向量是M维向量，遵循任意多元正态分布，则将有M个参数控制均值，${\displaystyle {\frac {M(M+1)}{2}}}$个参数控制协方差矩阵，共有${\displaystyle N\left(M+{\frac {M(M+1)}{2}}\right)={\frac {NM(M+3)}{2}}=O(NM^{2})}$个输出参数。（这时，除非M很小，否则限制观测向量各元素间协方差的性质可能更有用，例如假设各元素相互独立，或假设除固定多相邻元素外，其他元素相互独立。）

HMM的参数学习任务是指在给定输出序列或一组序列的情形下，找到一组最佳的状态转换和转移概率。任务通常是根据一组输出序列，得到HMM参数的最大似然估计值。目前还没有精确解这问题的可行算法，可用鲍姆-韦尔奇算法或Baldi–Chauvin算法高效地推导出局部最大似然。鲍姆-韦尔奇算法是最大期望算法的特例。

若将HMM用于时间序列预测，则更复杂的贝叶斯推理方法（如马尔可夫链蒙特卡洛采样法，MCMC采样法）已被证明在准确性和稳定性上都优于寻找单一的最大似然模型。[7]由于MCMC带来了巨大的计算负担，在计算可扩展性也很重要时，也可采用贝叶斯推理的变分近似方法，如[8]。事实上，近似变分推理的计算效率可与期望最大化相比，而精确度仅略逊于精确的MCMC型贝叶斯推理。

• 语音识别、中文斷詞/分詞或光学字符识别
• 机器翻译
• 生物信息学 和 基因组学
  • 基因组序列中蛋白质编码区域的预测
  • 对于相互关联的DNA或蛋白质族的建模
  • 从基本结构中预测第二结构元素
  • 通信中的译码过程
  • 地图匹配算法
• 还有更多...

隐马尔可夫模型最初是在20世纪60年代后半期Leonard E. Baum和其它一些作者在一系列的统计学论文中描述的。HMM最初的应用之一是开始于20世纪70年代中期的语音识别。[9]

在1980年代后半期，HMM开始应用到生物序列尤其是DNA的分析中。此后，在生物信息学领域HMM逐渐成为一项不可或缺的技术。[10]

• 安德雷·马尔可夫
• 贝叶斯推断
• 估计理论
• 條件隨機域
• 排队理论
• 馬可夫決策過程