刷榜

释义

「刷榜」指厂商为在权威评测榜单（如各类 Benchmark、竞技场排名）上取得高名次，针对测试集专门优化、甚至把测试题混进训练数据（数据污染），使榜单分数虚高、与真实体验不符。「跑分」则泛指模型在各项基准上的得分。[1]

由来

随大模型竞争白热化，「我们多项榜单超越 GPT-4」成为营销话术，「刷榜」质疑随之兴起，业界呼吁用更难污染的动态评测、人类盲评来去伪存真。

用法

例如：「榜单第一，实测一般，又是刷榜。」再如：「别看跑分，看实际任务表现。」

延伸

「刷榜」与 套壳、大力出奇迹 同属大模型营销黑话，反映了评测体系与真实能力之间的张力。