Embedding 向量

从 Word2Vec 到现代 Embedding

2013 年 Google 发布 Word2Vec，首次大规模展示了词向量的神奇性质："king" - "man" + "woman" ≈ "queen"。它用浅层神经网络在大语料上训练，把每个词压缩成 100-300 维的浮点向量。之后 GloVe（2014）、FastText（2016）各自改进，但这些都是静态 Embedding——同一个词在任何语境下向量不变，无法区分「苹果」（水果）和「苹果」（公司）。

BERT（2018）引入上下文 Embedding，同一个词根据上下文得到不同向量，彻底改变了 NLP 任务的范式。现在所说的「调用 Embedding 接口」通常指用 text-embedding-3-large 这类模型把文本压成 1536 或 3072 维向量，用于向量数据库检索（RAG 方案的核心）。[1]

实际用途

Embedding 最广泛的工业应用是语义搜索和推荐系统。电商平台把商品描述和用户查询都映射到同一向量空间，用余弦相似度找最相关的商品，效果远好于关键词匹配。

• RAG（检索增强生成）：把文档切片后向量化存入 Pinecone、Weaviate 等向量数据库，用户提问时先检索最相关片段再给 LLM。
• 图片 Embedding：CLIP 模型（OpenAI，2021）把图片和文字映射到同一空间，实现「用文字搜图片」。
• 推荐系统：用户行为序列也可以 embedding 化，YouTube 推荐系统论文（2016）详细描述了这一做法。