GloVe 词向量

定义

GloVe(Global Vectors for Word Representation)是斯坦福大学 NLP 组于 2014 年提出的词向量训练方法,通过对语料的全局词-词共现矩阵进行建模来学习词的向量表示。

原理

GloVe 的核心思想是:两个词共现概率的比值蕴含语义信息。模型构建加权最小二乘目标函数,使词向量的点积逼近共现次数的对数,从而同时利用全局统计信息与局部上下文特征。

与 Word2Vec 的对比

Word2Vec 基于滑动窗口逐样本训练,属于预测式模型;GloVe 则先统计整个语料的共现矩阵再拟合,属于计数式模型。两者训练出的向量在多数下游任务上表现相近。

应用

斯坦福官方发布了在 Wikipedia、Common Crawl、Twitter 等语料上预训练的多种维度向量,曾被广泛用作深度学习 NLP 模型的嵌入层初始化,在预训练语言模型普及前是主流选择之一。