(吐槽；)) 让你的基准测试更贴近现实
摘要
社区吐槽：呼吁AI模型基准测试应更贴近现实，考虑上下文大小、多模态特性、具体硬件配置和并行处理，而不仅仅是原始速度。
各位都在发布运行不同模型的优化方案——这很好，但请让这些基准测试更贴近现实，因为速度并非有效运行LLM的唯一因素。
1. 上下文大小是关键——在智能体、编程、检索增强生成（RAG）工作中，你需要合适的上下文大小，因此如果要进行基准测试，应进行长会话或大上下文的往返测试——这样你才能获得真正的真实环境。
2. 如果你测试多模态模型，应使用这些多模态特性——例如，通过图像处理进行基准测试——这将在现实场景中带来更多价值。
3. 注明你的具体硬件配置——所有显卡都有不同的变体。
4. 同时进行并行处理基准测试——在智能体工作中这也同样重要。
让你的帖子对社区更有用！
相似文章
模型们正在追逐不切实际的基准测试，但胜任实际工作的智能水平已经实现了
作者认为，近期的 AI 基准测试奖励的是二进制逆向工程等不切实际的边缘能力，而非开发者日常真正需要的准确遵循指令的能力，这表明排行榜的权重设置受到市场激励的扭曲，而不是由实际应用价值决定。
还有人觉得AI基准测试在预测实际性能方面越来越没用了吗？
本文讨论了AI基准测试高分与实际真实表现之间日益扩大的差距，重点强调了诸如一致性、延迟和上下文处理等问题。
@charliermarsh: 我担心基准测试与实际能力之间的差距正在扩大
一次Twitter讨论凸显了日益增长的担忧：AI基准测试未能反映现实世界中模型的能力，因为它们测试的是孤立的任务，而非用户遇到的复杂、长期运行的提示。
新评测标准的时机
本文讨论了在AI领域引入新评测标准的必要性，以更好地评估模型性能并解决现有标准的局限性。
你的基准测试想法
**社区讨论帖：提出新颖的 AI 基准测试构想** 这篇社区讨论帖提出了一系列创新的 AI 基准测试点子，其中最引人注目的是**"模型预测基准"（Model Prediction Bench）**。在这个基准中，模型仅凭其他开源权重模型的权重参数，就需要预测出它们的输出分布——以此检验模型对自身及同类模型的"直觉式理解"能力。