Arena AI 模型 ELO 历史

# Arena AI 模型 ELO 历史 来源：https://mayerwin.github.io/AI-Arena-History/ ## 为什么存在这个页面？ AI 实验室经常在模型发布后对其进行更新。这些更新有时会引入“削弱”（nerfs），例如激进的审查、过度量化（以节省计算成本）或行为退化。这张图表揭示了这些隐藏的趋势。 **关于 Web UI 与 API 的说明：**LMSYS Arena 通过 API 端点（“原始”模型）测试模型性能。消费者聊天界面（如 gemini.com 或 chatgpt.com）通常会在原始 API 之上添加系统提示、安全过滤器和特定 UI 封装器。提供商还可能在大负载时静默切换到模型的**量化（低精度）**版本以节省算力，导致 API 基准测试无法完全捕获的感知“削弱”。欢迎**提交 PR**，提供代表真实 Web 界面评估的数据源。 ## 数据来自哪里？ 数据每日自动从 Hugging Face 上的官方LM Arena 排行榜数据集 (https://huggingface.co/datasets/lmarena-ai/leaderboard-dataset)获取。Arena 依赖于数千次盲测、众包的人类评估，使其成为衡量实际模型能力最可靠的指标。 ## 图表逻辑如何工作？ 每个主要 AI 实验室恰好有**一条曲线**代表其旗舰系列。在每个时间点，曲线追踪该实验室在排行榜上**评分最高**的符合旗舰资格的模型——而不仅仅是最新宣布的那一个。 - **最高 ELO 旗舰：**如果实验室发布了一个中档模型（如 Sonnet），而更高档的模型（如 Opus）仍然是最佳表现者，曲线保持在 Opus 上。 - **推理模式变体合并：**后缀如 `-thinking`、`-reasoning` 和 `-high` 是同一基础模型的不同模式——它们被合并，这样曲线就不会在这两者之间来回切换。 - **新发布：**显示为带标签的标记点，通常伴随着分数的跃升。 - **退化：**模型生命周期中任何在两个发布版本之间的下降趋势都清晰可见。