TREC(文本检索会议)

简介

TREC(Text REtrieval Conference,文本检索会议)是美国国家标准与技术研究院(NIST)自 1992 年起每年举办的信息检索评测活动,目标是为检索研究提供大规模统一测试集与公开可比的评测流程。

运作方式

TREC 延续 Cranfield 评测范式:每个赛道(track)发布文档集与主题(查询),参赛系统提交检索结果,NIST 组织人工进行相关性标注(采用池化方法降低标注量),再以 MAP、NDCG 等指标统一评分并公布。历年赛道涵盖网页检索、问答、跨语言、法律、医疗、微博、深度学习检索(TREC Deep Learning)等方向。

影响

TREC 塑造了信息检索"共享数据集+统一评测"的研究文化,其数据集(与衍生的 MS MARCO 等)支撑了从 BM25 调优到神经检索模型的一代代进展;欧洲的 CLEF、日本的 NTCIR 等评测会议均效仿其模式。