Arena.ai 可能正在运行迄今为止最欺诈性的基准测试
摘要
这篇文章批评 Arena.ai 涉嫌运行不诚实的基准测试，声称其将 GPT 5.5 在编程能力上排在 Meta 的 Muse Spark 之下，并将 Grok Imagine 在视频生成方面排在 Seedance 之上，作者断言这是客观错误的。
此前，他们曾将 GPT 5.5 在编程能力上排在 Meta 的 Muse Spark 之下。他们最新发布的基准测试显示 Grok Imagine 超越了 Seedance 的视频生成能力……如果有人目前同时使用这两者，可以说这是客观上的不诚实行为。
相似文章
@rohanpaul_ai：Arena 刚刚发布了一个真实世界的智能体排行榜，该排行榜根据人工智能模型完成实际用户任务的效果进行排名，而不仅仅是……
Agent Arena 是一个新的排行榜，它通过任务成功、可操控性和恢复等信号评估人工智能模型在编码、研究、文件分析等真实世界智能体任务上的表现，其中 GPT-5.5 High 领先。
大型AI企业实验室提供的模型，按FTC定义构成欺诈
文章指出，AI实验室在广告中宣传理想模型版本的高基准分数，但实际向用户交付严重降级版本（如量化、叠加安全层），性能下降50%-60%以上，这构成欺诈。作者提议强制性第三方重新基准测试作为解决方案。
基准最大化
讨论了OpenAI市场份额下滑，而Meta和Google却在增长的问题，质疑高基准分数对普通用户是否重要，并提出AI的真正价值在于作为现有产品生态系统中的一项功能。
还有人觉得AI基准测试在预测实际性能方面越来越没用了吗？
本文讨论了AI基准测试高分与实际真实表现之间日益扩大的差距，重点强调了诸如一致性、延迟和上下文处理等问题。
重新思考我们如何衡量AI智能
Google DeepMind和Kaggle推出了Kaggle Game Arena，一个开源的AI基准测试平台，让大型语言模型在策略游戏中进行对抗，从而提供动态的、可验证的能力评估。该平台通过提供明确的胜负条件和清晰的性能信号，克服了传统基准测试的局限性。