word2vec

word2vec 是一组用于学习词向量的模型,由托马斯·米科洛夫等人在谷歌于二零一三年提出。它用浅层神经网络从海量文本中训练,把每个词映射为低维稠密向量,使语义或语法相近的词在向量空间中距离更近,是自然语言处理中词嵌入技术的里程碑。

概述

传统的独热表示维度高且无法刻画词间关系,word2vec 基于分布式假设,即上下文相似的词语义相近,通过预测任务学习向量。它提供两种互补的模型架构,并配合高效的训练技巧,使得在数十亿词的语料上也能快速训练出高质量词向量。

核心原理

• 连续词袋模型:用上下文窗口内的若干词预测中心词,适合小语料且训练平滑。
• 跳字模型:用中心词预测周围的上下文词,对低频词表现更好。
• 负采样:把多分类预测转化为区分真实上下文与随机负样本的二分类,大幅降低计算量。
• 层次 softmax:用哈夫曼树组织词表,把归一化代价从线性降到对数级。
• 训练得到的向量支持类比推理,经典例子是国王减男人加女人约等于王后。

应用场景

word2vec 广泛用于文本分类、情感分析、命名实体识别、机器翻译与信息检索等任务的特征表示,也常作为下游深度模型的输入初始化。它还被迁移到推荐系统、图嵌入等非文本领域,把商品或节点当作词来学习嵌入,催生了大量类比方法。

常见问题

问:word2vec 和后来的上下文词向量有何不同?答:word2vec 为每个词学习一个固定向量,无法区分一词多义;而基于深层网络的上下文表示会根据句子动态生成词向量,能更好处理多义与语境。

问:连续词袋和跳字模型如何选择?答:连续词袋训练更快、对高频词友好;跳字模型对稀有词和小语料表现更佳,实践中常按数据规模与目标词频分布来选择。