模型们正在追逐不切实际的基准测试,但胜任实际工作的智能水平已经实现了

Reddit r/LocalLLaMA 新闻

摘要

作者认为,近期的 AI 基准测试奖励的是二进制逆向工程等不切实际的边缘能力,而非开发者日常真正需要的准确遵循指令的能力,这表明排行榜的权重设置受到市场激励的扭曲,而不是由实际应用价值决定。

我感觉,最近的基准测试正在不切实际地拔高标准,把重点推向普通开发者很少接触的领域,比如二进制逆向工程,或者要求严格遵循某些指定的设计模式,一次性生成一个复杂的应用程序。我们真正想要的是一个准确、遵循指令且不擅自过度发挥的模型(例如,不去做那些没必要但看起来很炫的 3D 渲染)。如果我提示模型“生成一张鹈鹕骑自行车的 SVG 图”,那么一张简洁、干净的图形就应该算是百分之百达标。除非明确要求,否则模型没有理由硬塞进 3D 阴影、动画或精心设计的背景。我认为,一个很大的误区就是仅凭模型实现的 3D 细节来评判它,而这些细节从一开始就没人要求。那么,最新模型新增的那些应对边缘场景的能力,到底有多少在我们日常使用 AI 时真正有用?如果用不上,它们在排行榜中的权重就应该低得多。然而,我们看到的却是,这些应对边缘场景的能力获得了极高的评分。也许,要在你的业务领域取得完全相同的结果,你并不需要更强的模型。不过我也理解,模型能力趋于平稳这个说法,与 AI 市场估值不断增长的叙事背道而驰,所以就得永远把势头炒下去;随口一说罢了。
查看原文

相似文章

AI 基准测试:爬错了山头(阅读约 24 分钟)

TLDR AI

Contrary Research 的报告探讨了 LMArena 等 AI 基准测试如何在强化学习优化下沦为刷分目标,运用古德哈特定律论证基准测试的提升已不再反映真实世界的能力进步,并呼吁开发新一代更难被博弈的评估体系。