重排序(Rerank)

定义

重排序(Rerank)是多阶段检索架构中的精排环节:先由 BM25 或向量检索快速召回数十到数百条候选,再用计算更昂贵但更精准的模型对候选逐条打分并重新排序,取前若干条作为最终结果。

原理

主流实现是交叉编码器(cross-encoder):将查询与候选文档拼接后整体输入 Transformer,让两者在注意力层充分交互后输出相关性分数。相比双塔结构的独立编码,交叉编码器精度更高,但无法离线预计算,只能用于小候选集。基于大语言模型的列表式重排序(listwise rerank)是近年的新方向。

应用

重排序广泛用于网页搜索精排、RAG 知识库(显著减少喂给大模型的无关片段)与推荐系统;Cohere、Jina、BGE(智源)等提供现成的 rerank 模型或 API。

权衡

收益是精度明显提升;代价是每次查询增加一次模型推理的延迟与成本,候选数量需在效果与开销间取舍。