Chatbot Arena(聊天机器人竞技场)

Chatbot Arena(聊天机器人竞技场,现称LMArena)是一个基于大规模人类投票的大语言模型评测平台,由加州大学伯克利分校背景的LMSYS团队于2023年创建。它让用户与两个匿名模型同时对话并投票选出更好的一方,再用统计方法汇总成排行榜,是目前影响力最大的大模型人类偏好评测之一。

概述

静态基准存在题目泄漏、脱离真实使用场景等问题,而Chatbot Arena采用众包对战模式:用户输入任意问题,平台随机抽取两个模型分别作答,模型名字在投票前保持匿名,用户从更好、平局、都差中选择。投票结束后才揭晓模型身份,以避免品牌偏见。平台累计收集了数百万场对战,覆盖各大公司的前沿模型。

Arena排名被各大公司在发布会上广泛引用,2025年团队成立公司并将平台更名为LMArena。它同时也面临争议:投票用户不代表全部用户群体;模型可能通过讨好式回答、加长篇幅获得偏好优势;2025年有论文质疑大厂通过私下测试多个变体择优上榜。平台随后调整了政策以提高公平性。

问:Arena分数和MMLU等基准分数矛盾时信哪个？答:两者衡量维度不同,静态基准测知识与推理上限,Arena测真实对话中的综合体验,应结合使用。

问:普通用户能参与投票吗？答:可以,平台对公众开放,任何人都可发起匿名对战并投票,这正是其数据规模的来源。