模型们正在追逐不切实际的基准测试,但胜任实际工作的智能水平已经实现了
摘要
作者认为,近期的 AI 基准测试奖励的是二进制逆向工程等不切实际的边缘能力,而非开发者日常真正需要的准确遵循指令的能力,这表明排行榜的权重设置受到市场激励的扭曲,而不是由实际应用价值决定。
我感觉,最近的基准测试正在不切实际地拔高标准,把重点推向普通开发者很少接触的领域,比如二进制逆向工程,或者要求严格遵循某些指定的设计模式,一次性生成一个复杂的应用程序。我们真正想要的是一个准确、遵循指令且不擅自过度发挥的模型(例如,不去做那些没必要但看起来很炫的 3D 渲染)。如果我提示模型“生成一张鹈鹕骑自行车的 SVG 图”,那么一张简洁、干净的图形就应该算是百分之百达标。除非明确要求,否则模型没有理由硬塞进 3D 阴影、动画或精心设计的背景。我认为,一个很大的误区就是仅凭模型实现的 3D 细节来评判它,而这些细节从一开始就没人要求。那么,最新模型新增的那些应对边缘场景的能力,到底有多少在我们日常使用 AI 时真正有用?如果用不上,它们在排行榜中的权重就应该低得多。然而,我们看到的却是,这些应对边缘场景的能力获得了极高的评分。也许,要在你的业务领域取得完全相同的结果,你并不需要更强的模型。不过我也理解,模型能力趋于平稳这个说法,与 AI 市场估值不断增长的叙事背道而驰,所以就得永远把势头炒下去;随口一说罢了。
相似文章
AI基准测试不如模型能否处理乏味的现实责任重要
文章认为,AI基准测试和华丽的演示被过度强调了;真正考验AI可信度的是模型如何处理乏味的现实责任,如遵循指令、承认不确定性、处理边缘情况以及可审计性。
(吐槽;)) 让你的基准测试更贴近现实
社区吐槽:呼吁AI模型基准测试应更贴近现实,考虑上下文大小、多模态特性、具体硬件配置和并行处理,而不仅仅是原始速度。
AI 基准测试:爬错了山头(阅读约 24 分钟)
Contrary Research 的报告探讨了 LMArena 等 AI 基准测试如何在强化学习优化下沦为刷分目标,运用古德哈特定律论证基准测试的提升已不再反映真实世界的能力进步,并呼吁开发新一代更难被博弈的评估体系。
还有人觉得AI基准测试在预测实际性能方面越来越没用了吗?
本文讨论了AI基准测试高分与实际真实表现之间日益扩大的差距,重点强调了诸如一致性、延迟和上下文处理等问题。
@charliermarsh: 我担心基准测试与实际能力之间的差距正在扩大
一次Twitter讨论凸显了日益增长的担忧:AI基准测试未能反映现实世界中模型的能力,因为它们测试的是孤立的任务,而非用户遇到的复杂、长期运行的提示。