词性标注

定义

词性标注(Part-of-Speech Tagging,POS Tagging)指为文本中的每个词自动标注其语法类别(如名词、动词、形容词、副词)的任务,是自然语言处理流水线中的基础环节。

难点

词性标注的核心难点是兼类词歧义:同一个词在不同语境下词性不同,例如中文「学习」可作动词也可作名词,英文 book 可为名词或动词,必须依赖上下文消歧。

方法

早期采用规则方法(如 Brill 标注器);统计时代以隐马尔可夫模型和最大熵模型为主,用维特比算法解码;此后 BiLSTM、BERT 等神经模型将英文标注准确率推至 97% 以上。常用标签集包括英文的 Penn Treebank 标签集和多语言的 Universal Dependencies 标签集。

应用

词性是句法分析、信息抽取、机器翻译等任务的重要特征,也直接服务于文本校对和语言学研究。