MTEB 嵌入基准

MTEB(Massive Text Embedding Benchmark,大规模文本嵌入基准)是一个用于全面评测文本嵌入模型的综合性基准。它汇集了检索、分类、聚类、语义文本相似度、重排序等多种任务,覆盖众多数据集和语言,为衡量嵌入模型的通用能力提供了统一标尺。

概述

文本嵌入是语义检索、聚类和 RAG 的基础,但不同嵌入模型在不同任务上表现差异很大,单一数据集难以反映其真实水平。MTEB 于 2022 年推出,旨在解决评测碎片化问题。它把大量公开任务整合进一个框架,让研究者和工程师能在统一条件下横向比较各模型,其公开排行榜已成为社区选择嵌入模型的风向标。

核心特点

• 任务多样:涵盖检索、分类、聚类、句对分类、重排序、语义相似度、摘要等多个任务类型。
• 覆盖广泛:包含数十个数据集,并逐步扩展到多语言乃至代码嵌入评测。
• 统一排行榜:在开放平台维护实时更新的榜单,便于社区提交与对比。
• 综合评分:对各任务成绩加权汇总,给出模型的整体嵌入能力评价。

应用场景

在构建 RAG 系统或语义搜索时,工程师常参考 MTEB 排行榜挑选合适的嵌入模型,兼顾效果、维度和推理速度。研究者也用它验证新提出的嵌入方法是否在广泛任务上具备通用性,而非仅在特定数据集上过拟合。

常见问题

问:MTEB 排名高的模型一定最适合我的场景吗?答:不一定。排行榜反映的是综合能力,具体业务往往偏重某类任务或特定语言,还需考虑向量维度、推理成本和领域适配,建议结合自有数据做针对性评测。

问:MTEB 只评英文吗?答:早期以英文为主,但后续版本已扩展出多语言基准,支持包括中文在内的多种语言评测,选型时应关注对应语言子集的成绩。