还有人觉得AI基准测试在预测实际性能方面越来越没用了吗？

Reddit r/ArtificialInteligence 新闻
ai-benchmarks model-evaluation real-world-performance llm-limitations developer-experience

摘要

本文讨论了AI基准测试高分与实际真实表现之间日益扩大的差距，重点强调了诸如一致性、延迟和上下文处理等问题。

最近很多模型在基准测试中得分极高，但实际日常使用体验往往与排行榜预期相去甚远。实践中，团队似乎更关注以下方面： * 长时间会话的一致性 * 延迟 * 上下文处理 * 工具使用可靠性 * 成本效率 * 模型从错误中恢复的能力 * 开发者工作流质量 有些模型在演示/评估中表现惊人，但在持续的真实使用中变得令人沮丧，因为它们： * 过度解释 * 在长上下文中失去焦点 * 变得重复 * 难以处理需要编排的任务 感觉我们可能正在进入一个阶段，基础设施+工作流质量几乎与原始模型智能同样重要。很好奇其他人是否也注意到同样的情况，或者基准测试仍然与您的真实体验紧密匹配？
查看原文

相似文章

感觉AI正在进入其“基础设施问题”阶段

Reddit r/artificial

文章强调了AI行业的一个转变，焦点正从单纯的模型基准性能转向延迟、编排和成本效率等基础设施挑战。这表明AI正成熟为一个系统问题，实际体验变得比原始模型能力更重要。

我们用几乎无法预测真实世界性能的基准来评估AI

Reddit r/ArtificialInteligence

METR的一项研究发现，使用AI工具（主要是Cursor Pro与Claude 3.5/3.7 Sonnet）的经验丰富的开源开发者完成真实世界问题所花的时间反而增加了19%，这既违背了他们自身的预期，也与专家预测的24%提速相矛盾。

AI系统常以测试中不显现的方式失败？

Reddit r/AI_Agents

讨论AI工作流中干净的基准测试环境与混乱的真实世界使用之间的常见差距，导致生产环境失败，并提及评估平台如Confident AI、Braintrust和Langfuse。