向量空间模型

定义

向量空间模型(Vector Space Model,VSM)是信息检索的基础模型之一,由 Gerard Salton 等人在 SMART 检索系统研究中提出,将文本表示为词项空间中的向量。

原理

每个维度对应词表中的一个词项,分量通常取 TF-IDF 权重;查询同样被表示为向量,文档与查询的相关性用两向量夹角的余弦相似度度量,值越大越相关。

应用

VSM 曾长期支撑全文检索系统的排序,也被用于文本聚类、文档去重与推荐系统中的内容相似度计算,是理解现代稠密向量检索的概念源头。

优缺点

优点是模型直观、支持部分匹配与连续打分;缺点是向量高维稀疏、假设词项相互独立、无法捕捉同义与多义现象,后来的潜在语义分析与神经嵌入正是针对这些不足的改进。