BM25 算法

定义

BM25(Best Matching 25)是信息检索中广泛使用的相关性排序函数,源于 Stephen Robertson 与 Karen Spärck Jones 等人提出的概率检索框架,因在 Okapi 检索系统中实现而又称 Okapi BM25。

原理

BM25 对查询中的每个词项计算得分并累加:词项在文档中出现越频繁得分越高,但通过饱和函数抑制高词频的边际收益;逆文档频率(IDF)使罕见词权重更高;文档长度归一化则惩罚过长文档。参数 k1 控制词频饱和速度,b 控制长度归一化强度。

应用

BM25 是 Lucene、Elasticsearch、Solr 等主流全文检索引擎的默认打分模型,也常作为神经检索模型的对比基线,或与向量检索组成混合检索。

优缺点

优点是简单、高效、无需训练且效果稳健;缺点是基于词面匹配,无法理解同义词与语义关系,需借助查询扩展或语义检索弥补。