隐马尔可夫模型 (HMM)

定义

隐马尔可夫模型(Hidden Markov Model,HMM)是关于时序数据的生成式概率模型:系统内部状态构成一条不可直接观测的马尔可夫链,每个隐状态按发射概率生成一个可观测符号。模型由初始状态分布、状态转移矩阵和发射概率矩阵三组参数刻画。

三大问题

HMM 有三个经典问题及对应算法:评估问题(给定模型求观测序列概率)用前向-后向算法;解码问题(求最可能的隐状态序列)用维特比(Viterbi)动态规划算法;学习问题(估计模型参数)用 Baum-Welch 算法,即 EM 算法的特例。

应用

HMM 在统计语音识别时代是绝对主流,也广泛用于中文分词、词性标注、基因序列分析和手写识别。

局限

其观测独立性假设较强,判别式的条件随机场以及后来的神经序列模型在多数任务上取代了它。