命名实体识别（NER）

定义

命名实体识别(Named Entity Recognition,NER)是从非结构化文本中识别出具有特定意义的实体,并将其分类为人名、地名、组织机构名、时间、货币等预定义类别的任务。

技术演进

早期方法依赖词典与规则模板;统计方法时代以隐马尔可夫模型、条件随机场为主;深度学习时代 BiLSTM-CRF 成为经典架构;预训练语言模型出现后,在 BERT 等模型上微调成为主流,大语言模型则可通过提示直接完成开放域实体抽取。

标注体系

常用 BIO 或 BIOES 标注方案,将任务转化为逐 token 的序列标注,例如 B-PER 表示人名开头,I-PER 表示人名内部。

应用

NER 是知识图谱构建、信息检索、智能问答、简历解析、舆情分析等系统的基础组件。中文 NER 还需应对分词歧义和实体嵌套等额外挑战,是学术研究的持续热点。