BM25 检索算法

BM25(Best Matching 25)是一种基于概率检索模型的文本相关性排序算法。它根据查询词在文档中的词频、词的逆文档频率以及文档长度,计算查询与文档的匹配得分,长期作为搜索引擎和信息检索系统的强基线。

概述

BM25 源于 1990 年代的概率检索理论,是 TF-IDF 思想的改进与集大成者。相比朴素的词频统计,它引入了词频饱和机制,避免某个词出现过多就无限提升得分,同时对文档长度做归一化,防止长文档因包含更多词而占优。凭借简单、高效、无需训练的特点,BM25 至今仍是众多检索系统的默认算法。

核心原理

• 词频饱和:查询词在文档中出现越多得分越高,但增益逐渐趋于饱和,不会线性无限增长。
• 逆文档频率:越稀有的词越具区分度,赋予更高权重,常见词权重则被压低。
• 长度归一化:根据文档长度相对平均长度的比例调整得分,削弱长文档的天然优势。
• 可调参数:通过控制词频饱和速度和长度归一化强度的参数适配不同语料。

应用场景

BM25 广泛应用于全文搜索引擎、问答系统和文档检索,是 Elasticsearch 等系统的默认打分函数。在检索增强生成中,它常与稠密向量检索结合形成混合检索:BM25 擅长精确匹配关键词,向量检索擅长语义匹配,二者互补可显著提升召回质量。

常见问题

问:BM25 和向量检索谁更好?答:各有所长。BM25 对精确关键词、专有名词和罕见术语召回强;向量检索理解语义、能匹配同义表达。实践中常将两者融合成混合检索以取长补短。

问:BM25 需要训练吗?答:不需要。它是基于统计的无监督算法,只需对语料建立倒排索引即可使用,部署简单、计算高效,这也是它经久不衰的重要原因。