词义消歧

定义

词义消歧(Word Sense Disambiguation,WSD)是确定多义词在特定上下文中具体义项的任务,例如判断「苹果发布了新手机」中的「苹果」指公司而非水果。它是 NLP 最古老的问题之一,早在 1940 年代机器翻译构想中就被提出,曾被称为「AI 完全」问题。

方法

基于知识的方法利用词典与语义网络,代表是 Lesk 算法(比较义项释义与上下文的词重叠)和基于 WordNet 的图方法;有监督方法把消歧当作分类问题,依赖 SemCor 等义项标注语料;神经方法用上下文向量与义项表示匹配,预训练模型显著提升了效果。

评测

Senseval 与 SemEval 系列国际评测长期设立 WSD 任务,以 WordNet 义项库为标准。

现状

上下文相关的嵌入(ELMo、BERT)天然缓解了词义混淆,显式 WSD 作为独立组件的需求下降,但在词典编纂、机器翻译与可解释性研究中仍有价值。