Word2Vec

定义

Word2Vec 是由 Tomas Mikolov 等人在 Google 提出的一组用于训练词向量的模型,将词表中的每个词映射为低维稠密实数向量,使语义相近的词在向量空间中距离更近。

原理

Word2Vec 包含两种结构:CBOW(连续词袋模型)用上下文词预测中心词;Skip-gram 则用中心词预测上下文词。为降低 softmax 计算开销,训练时常配合层次 softmax 或负采样技术。

应用

训练得到的词向量可用于文本分类、命名实体识别、机器翻译等下游任务的特征输入,也可直接用于计算词语相似度和词类比推理,例如经典的「king - man + woman ≈ queen」。

优缺点

优点是训练高效、向量具有良好的线性语义结构;缺点是每个词只有一个静态向量,无法区分多义词在不同语境下的含义,这一局限后来由 ELMo、BERT 等上下文相关表示模型解决。