条件随机场 (CRF)

定义

条件随机场(Conditional Random Field,CRF)由 Lafferty、McCallum 和 Pereira 于 2001 年提出,是一种判别式无向概率图模型,直接对给定观测序列下整个标签序列的条件概率 P(y|x) 建模。序列标注中最常用的是线性链 CRF。

原理

CRF 通过特征函数刻画相邻标签间的转移关系与观测-标签间的关联,对整条序列做全局归一化,从而避免了 HMM 的观测独立性假设和最大熵马尔可夫模型的标签偏置(label bias)问题。训练用极大似然配合梯度法,推断用维特比算法。

应用

CRF 长期是中文分词、词性标注、命名实体识别的标准方法;深度学习时代常作为 BiLSTM-CRF、BERT-CRF 的输出层,约束标签间的合法转移。

优缺点

优点是全局最优、特征灵活;缺点是训练计算量大,特征工程依赖较重。