复刻 Minecraft 不是基准测试

# 复刻 Minecraft 算不上基准测试 Source: https://kuber.studio/blog/Reflections/Recreating-Minecraft-is-Not-a-Benchmark GPT Astra 几天前刚发布，果不其然，不到一小时，我的时间线就被这五样东西刷屏了：一句话复刻 Minecraft、在 MS Paint 里画自己、一只骑自行车的鹈鹕 SVG、一个带逼真重力在旋转盒子里弹跳的球，还有一个 SVG 游戏手柄。 表面上看，这些问题对模型来说似乎更难、更偏视觉，它们能火起来是有原因的。我开始把它们叫做 demo-benchmarks——足够直观、人人都能看懂，但又足够有限，下一代模型完全可能做到“完美”。 这就是问题所在：这些测试已经不能再告诉你模型到底有多强了，因为实验室只需稍微优化，就能在下次发布时轻松搞定这些测试。 说实话，这也不能怪他们——如果不这么做反而显得蠢。没有什么比一只鹈鹕，或者一个让时间线疯狂转发的 3D 游戏手柄，更能给发布会带货的了。 > View Tweet (https://x.com/MarsForTech/status/2095965250386284866) 一个固定且知名的目标，加上八周的筹备时间，那只鹈鹕早就被破解了。这些测试一成不变，而任何不变的东西都会被过拟合。每一个发布周期都在再次证明这一点。 一种可以按时间表刷到满分的测试，衡量的是准备程度而非能力。在我看来，这违背了基准测试的定义——它应该是一道难题，一道极难拿到满分的题。 Claude Fable 5 一句话复刻 Minecraft 同样的现象也出现在公开评测中：那些在实感上更“笨”的小模型，却在 Artificial Analysis 这类网站上跑出了比大模型更高的分数。这并非假设——Thinking Machines 的 Inkling Small 在 Artificial Analysis Intelligence Index 上与其旗舰模型只差 1 分（https://artificialanalysis.ai/articles/inkling-small-lands-within-a-point-of-inkling-on-the-artificial-analysis-intelligence-index-with-less-than-a-third-of-the-parameters），而参数量还不到后者的三分之一，并且在 Humanity’s Last Exam、GPQA Diamond 和 SciCode 上反超了旗舰模型。公开、静态且知名的测试集，早已泄漏到训练数据和微调策略中了。 Inkling Small，体积只有三分之一，却在 Artificial Analysis Intelligence Index 上与旗舰模型打平 发布会就是第一印象，而第一印象就是营销。所以你总会被“震撼”到——这震撼本就是计划好的。 那有什么替代方案吗？说实话，我也不确定。 因为仔细想想，显而易见的解决办法其实已经存在。LiveBench 会轮换题目，ARC-AGI 保留了一套私有题库，Humanity’s Last Exam 也隐藏了部分内容。被测方不知道考什么的测试——你没法为还没写出来的试卷提前押题。 但如果 holdout evals 就是答案，那为什么赢的依然是那只鹈鹕？ 答案是，大多数社交媒体用户并不需要读懂一篇研究论文，就能发现这辆自行车终于有脚踏板了，或者它会动了。一个 demo benchmark 能在几秒内让人直观感受到“这就是更强的能力”。 所以，是的，一场精彩的演示无可替代。但要想看清模型真正的实力，演示基准之外还有更好的选择。如果一个模型分数很漂亮，却在你的实际工作中屡屡翻车，那这个落差才真正值得深究。 Demo-benchmarks 能产出很棒的传播内容。我只是希望，我们别再拿它们来打分评级了。