直接答案：Arena 是一个由社区真实使用和成对投票驱动的 AI 模型评测平台，前身是 LMSYS Chatbot Arena，之后使用 LMArena 名称，目前品牌为 Arena。用户在 Battle 中向两个匿名模型提交同一任务并选择更好的回答，平台再用 Bradley–Terry 类成对比较模型、权重、偏差特征和置信区间形成排行榜。
Arena 排名衡量的是特定平台、特定时间和特定任务分布下的人类偏好，不是模型全部能力的“总分”。它很适合发现候选模型、观察版本变化和寻找需要进一步测试的方向；但不能单独证明事实准确率、安全性、API 稳定性、成本、延迟、地区可用性、数据合规或对你业务的适配程度。
LMSYS Chatbot Arena、LMArena 和 Arena 是什么关系？
这三个名称指向同一评测平台的不同阶段。2024 年论文使用 Chatbot Arena 名称；平台之后以 LMArena 运营，当前官方 About 页面使用 Arena（formerly LMArena）。旧关键词仍有大量搜索，因此本文保留 LMSYS Chatbot Arena 和 LMArena 作为历史名称，但官方入口、帮助中心与最新政策应以 Arena About 和 How It Works 为准。
| 名称 | 适合怎样理解 | 查资料时注意什么 |
|---|---|---|
| LMSYS Chatbot Arena | 最初的研究项目和论文常用名称 | 适合查 2023—2024 年方法与数据；不要据此认定当前 UI 和算法未变 |
| LMArena | 平台后续品牌名称，旧链接和文章中仍常见 | 旧域名或帮助文章可能已跳转 |
| Arena | 当前品牌与产品入口 | 排行榜、政策、隐私和方法更新优先查当前官方页面 |
按 官方介绍，Arena 起源于 UC Berkeley 研究人员创建的社区评测项目。它后来扩展到文本、代码、视觉、文档、搜索、图像和视频等不同 Arena。不同榜单的任务、输入、投票和统计处理不完全相同，不能把一个榜单的第一名自动当作所有任务的第一名。
Arena 的匿名对战怎样工作？
官方流程可以概括为四步：输入提示、比较两个匿名回答、投票、揭示模型身份。匿名的作用是降低用户在投票前受到模型名称和厂商品牌的影响，但这不等于没有任何偏差，也不等于严格意义上的所有参与方“双盲”。平台知道参与模型，用户也会受到回答长度、格式、语气、位置和自身偏好的影响。
| 模式 | 用户看见什么 | 是否匿名 | 对公共排行榜的作用 |
|---|---|---|---|
| Battle | 两个模型对同一提示的回答 | 投票前匿名 | 合格投票可进入排行榜计算 |
| Side-by-Side | 用户自己选择的两个具体模型 | 不匿名 | 官方 FAQ 说明普通 Side-by-Side 投票不进入公共排行榜，但数据仍可能用于研究 |
| Direct | 与指定模型直接对话 | 通常知道模型 | 普通 Direct 没有公开投票；但官方 2026 年 5 月更新说明，部分 Direct 会转成随机匿名对战并纳入榜单 |
这里最容易产生误解：“在 Arena 聊过某模型”不等于“这次会话一定计入排行榜”。是否计入取决于模式、匿名状态、用户是否投票、数据质量过滤和当时的方法政策。具体变化应查 Leaderboard Changelog。
排行榜不是简单统计胜率：Bradley–Terry、分数与置信区间
Arena 的早期文章和第三方介绍经常用 Elo 类比成对排名。当前 官方 FAQ明确写的是 Bradley–Terry rating system：它根据模型两两比较的胜负关系估计相对偏好强度，并可扩展加入额外特征。Chatbot Arena 论文描述了众包成对比较、统计估计与排序的研究基础；当前实现与后续变化可参考公开的 Arena Rank 仓库。
| 字段 | 它告诉你什么 | 常见误读 |
|---|---|---|
| Rank | 当前点估计下的排序位置 | 把第 1 与第 2 理解为存在确定、稳定且巨大的能力差距 |
| Score | 由成对投票模型估计的相对偏好分数 | 把分数当成百分制准确率或业务成功率 |
| 置信区间 | 估计的不确定范围 | 只看中心分数，不看区间重叠 |
| Rank Spread | 结合置信区间后可能的排名范围 | 把单一名次截图当成无误差结论 |
| Votes | 模型参与比较的样本规模提示 | 认为票数多就必然更强，或忽略票来自何种任务分布 |
| Price $/M | 榜单提供的每百万 token 输入/输出价格参考 | 把标价直接当成自己系统的单位合格结果成本 |
官方排行榜阅读说明要求同时理解 Rank、Rank Spread、Score、置信区间和 Votes。两个模型置信区间明显重叠时，更合理的说法是“当前数据不足以稳定区分”，而不是强行宣布一个绝对赢家。
为什么同一个模型的排名会变化？
排行榜是动态估计，不是出厂证书。新投票不断加入，模型会更新或下线，任务分布会变化，平台也会修改采样、过滤和统计方法。官方 Changelog 记录了这些变化，例如对不同模型出现频率进行重加权、用新的置信区间计算方法、过滤高频重复提示与身份泄露，以及为 Direct Battle 的位置偏差和同组织上下文优势增加校正特征。
| 变化来源 | 可能产生的影响 | 使用者怎样记录 |
|---|---|---|
| 新模型或新版本加入 | 比较网络和相对位置变化 | 保存完整模型名称、版本或日期后缀 |
| 新增投票 | 分数、区间和排名逐步变化 | 记录查询日期，不使用“永久第一” |
| 任务分布变化 | 偏好更偏向代码、长问题或某类用户 | 选择与自己任务相近的 Arena 和筛选器 |
| 数据过滤调整 | 重复、异常投票或身份泄露被移除 | 查看 Changelog，不只保存排行榜截图 |
| 评分方法调整 | 点估计、置信区间和并列关系改变 | 在报告中注明方法版本和官方说明 |
| 模型退役或不可公开使用 | 不再获得新样本或退出公开榜 | 重新核对实际产品和 API 可用性 |
Arena 排名能证明什么，不能证明什么？
Arena 最有价值的信号是：在其采集到的真实提示和投票者群体中，人们更偏好哪个回答。它补充了静态题库难以覆盖的开放式任务、表达风格和复杂主观选择。原始论文报告早期众包问题具有多样性，且群众投票与专家判断存在较好一致性；但论文证据不能自动外推到每个语言、行业、时间和榜单。
| 可以作为证据 | 不能单独作为证据 |
|---|---|
| 模型在特定 Arena 和时间段的人类相对偏好 | 事实回答必然正确或引用必然真实 |
| 同类模型是否大致处于相近偏好区间 | 你的中文客服、代码库或合同审查一定更好 |
| 新版本发布后社区偏好是否发生变化 | API 延迟、可用性和生产稳定性 |
| 文本、代码、视觉、文档等任务需要分别观察 | 最低成本、最少 token 或最低单位合格结果成本 |
| 哪些模型值得进入下一轮内部测试 | 隐私、安全、版权、地区和采购条款已经合规 |
因此，站内的 AI 问答平台选择指南解决“用户从哪里聊天和比较”，Arena 页面解决“怎样理解社区偏好排行榜”；具体模型则应回到独立页面核对，例如 Gemini 模型与 API 指南、Claude Sonnet 版本选择、Qwen 模型与开放权重指南和 Kimi 产品、Agent 与 API 指南。
普通用户怎样做一次更有意义的 Arena 对比？
一次随手提问可以获得直观感受，但不适合得出稳定结论。更可靠的方法是先写清任务和判断标准，再进行多组不同难度的匿名比较。不要在看到回答后临时改变标准，也不要因为一个回答更长、标题更多或语气更自信就自动判胜。
- 选对 Arena：文本问答用 Text，代码任务看 Code，图片理解看 Vision，长 PDF 看 Document，需要搜索证据看 Search；不要拿总览榜替代任务榜。
- 准备 3—5 类提示：包括常见任务、边界任务、容易失败的任务和必须拒绝的任务。提示中写明语言、格式、来源和禁止事项。
- 先定评分标准：例如事实忠实、任务完成、格式合规、引用可核验、风险识别和简洁度。不同任务可以有不同权重。
- 阅读完整回答再投票：允许平局或不确定；没有把握时不必强行投票。
- 投票后记录身份：保存模型完整名称、任务、判断理由、日期和失败样本，不只记住谁“赢了”。
- 回到官方产品核对：检查相同模型在你可用的 App、API、地区和版本中是否存在，参数和工具能力是否相同。
| 评分维度 | 可执行问题 | 不要只看 |
|---|---|---|
| 事实忠实 | 关键事实、日期和来源是否可打开并相互支持 | 语气是否笃定 |
| 任务完成 | 是否覆盖全部约束并给出可执行结果 | 篇幅是否更长 |
| 格式 | 是否满足 JSON、表格、字数、字段和语言要求 | Markdown 是否更华丽 |
| 风险 | 是否识别缺失信息、权限、隐私和高影响边界 | 是否总是直接答应 |
| 可复核性 | 他人能否用同一输入、版本和标准复查 | 一次令人惊艳的输出 |
企业选型为什么不能直接买排行榜第一名？
企业真正购买和部署的是一个包含模型、API、权限、数据、工具、监控、人员与合同的系统。Arena 排行榜主要提供模型输出偏好信号，无法替代内部任务集、数据条款、安全评估和成本测算。正确顺序是：用 Arena 缩小候选范围，再用自己的固定样本进行盲评和生产验收。
| 验证门 | 最低证据 | 失败时怎么办 |
|---|---|---|
| 任务匹配 | 候选模型对应你的文本、代码、视觉、文档或搜索任务 | 换榜单或缩小使用范围 |
| 内部评测 | 固定样本、评分量规、盲评者、失败分类和复核记录 | 补样本或拒绝上线 |
| 成本与延迟 | 实际输入分布下的 token、插件、重试、缓存、延迟和单位合格结果成本 | 路由到更小模型或限制高成本任务 |
| 安全合规 | 地区、数据保留、训练使用、权限、日志、内容安全和人工接管 | 脱敏、私有部署、合同约束或停用 |
| 集成能力 | API、结构化输出、工具调用、上下文、配额和可观测性满足要求 | 增加适配层或选择替代模型 |
| 灰度回滚 | 影子流量、分组放量、错误阈值、版本锁定和备用模型 | 自动回退到旧版本或人工流程 |
如果任务涉及本地数据和云端服务的取舍，可参考本地部署还是云端大模型决策指南；如果要理解图像与文本混合任务，应另看 VLM 任务选型与生产验收指南。这些页面承接 Arena 排名不能覆盖的部署和任务边界。
在 Arena 输入提示词时，隐私上要注意什么？
Arena 的价值来自真实提示和投票，因此用户输入本身也是研究数据的一部分。官方 FAQ说明，Side-by-Side 和 Direct 的提示也可能被收集用于研究；平台会分享部分去标识数据。隐私政策进一步说明个人信息的收集、使用和共享规则。去标识并不等于用户可以上传任意机密。
- 不要输入真实姓名、手机号、身份证、住址、账号、密钥和支付信息。
- 不要上传未获授权的客户数据、内部代码、合同、病历、工单或商业机密。
- 需要比较敏感任务时，先制作脱敏、合成或最小化样本。
- 若组织要求数据不得进入第三方模型或研究集，不应使用公共 Arena 执行该任务。
- 投票后模型身份揭示，不代表你获得了该模型在目标 API 中相同版本和配置的使用权。
怎样在报告里正确引用 Arena 排名？
不要写“某模型是全球最强”或“Arena 证明某模型准确率最高”。更可复核的表述应包含模型完整名称、榜单、筛选器、查询日期、分数与置信区间，并说明这是人类偏好信号。
| 不建议写法 | 更严谨的写法 |
|---|---|
| 模型 X 是全球第一 | 截至某日，模型 X 在 Arena 的某榜单与筛选器中处于领先组；具体名次和区间可能随投票与方法更新变化 |
| Arena 证明模型 X 最准确 | Arena 显示用户在匿名成对比较中更偏好模型 X 的回答；事实准确性需另行评测 |
| 第 2 名一定弱于第 1 名 | 两者中心排名不同，但需要检查置信区间和 Rank Spread 是否重叠 |
| 总榜第一最适合企业 | 总榜用于生成候选名单；采购仍需内部任务、成本、安全、API 与回滚验收 |
Leaderboard Policy说明公开榜单的模型可用性、预发布测试、数据共享和透明度规则；方法变化则应配合 Changelog引用。只截取一个名次而不记录时间、榜单和不确定性，无法支持长期结论。
常见问题
Arena 是开源项目还是商业公司？
它起源于开放研究项目，目前由公司运营平台和评测服务，同时继续公开部分论文、数据与排行榜方法代码。不能把“有开源研究产物”理解为整个平台、全部数据和所有服务均开源。
Arena 排名使用 Elo 还是 Bradley–Terry？
用 Elo 解释历史和直觉并非完全没有帮助，但当前官方 FAQ 明确使用 Bradley–Terry rating system，并通过额外特征处理部分偏差。引用当前排名时应使用官方现行术语。
我可以只测一次就决定哪个模型更好吗？
不建议。单个提示只反映一个样本，生成还可能有随机性。至少应覆盖多种真实任务、失败边界和评分维度，并保存模型版本和判断理由。
排行榜第一名会一直保持第一吗？
不会保证。新投票、任务分布、新模型、版本变化、数据过滤与统计方法都会改变分数和排名。应把查询日期写进报告。
Arena 可以代替企业模型评测吗？
不能。它可用于发现候选模型和理解社区偏好，但企业还要验证自己的任务质量、成本、延迟、权限、数据、安全、API 和回滚。
结论：把 Arena 当作候选生成器和偏好证据
Arena 的独特价值是把不断变化的真实任务和社区成对偏好转化为公开排行榜。正确用法不是追逐一张“最强模型”截图，而是选择匹配的 Arena，结合 Score、置信区间、Rank Spread、票数和日期解读，再把候选模型带回自己的任务集做质量、成本、安全与生产验收。
最小行动清单：确认当前官方名称和榜单；选对任务类型；不输入敏感数据；记录完整模型版本、日期和置信区间；用 3—5 类真实提示做匿名比较；最后以内部评测和可回滚上线结果作决策。
