为什么每次发布基准测试分数都在上升？

Reddit r/artificial 新闻
benchmark-inflation ai-benchmarks model-evaluation llm-releases gaming-the-benchmark open-source-benchmarks

摘要

一篇讨论帖质疑为什么AI基准测试分数在每次发布时都持续提升，而用户却感受不到实际应用中的明显进步，提问供应商是否在操纵专有、闭源的基准测试，而非真正改进模型。

很多发布确实是明显的进步，比如最初的 Fable 版本，但对某些发布来说，普遍共识似乎是并没有多少改进，甚至在某些情况下新版本反而更差。例如 Opus 5（初始版本）的基准测试成绩就超过了 Fable，或者 GPT Sol 6.1 超过了 Astra 或 5.6。这只是感知错位的问题吗？还是说这些供应商有办法在不真正提升实际性能的情况下，不断迭代基准测试的结果？请记住，有些基准测试是专有且闭源的。如果有人了解这个循环是怎么运作的，非常希望能听到你们的见解。
查看原文

相似文章

AI 基准测试：爬错了山头（阅读约 24 分钟）

TLDR AI

Contrary Research 的报告探讨了 LMArena 等 AI 基准测试如何在强化学习优化下沦为刷分目标，运用古德哈特定律论证基准测试的提升已不再反映真实世界的能力进步，并呼吁开发新一代更难被博弈的评估体系。