@thsottiaux: 你还相信基准测试吗，还是只听从朋友的建议？是什么促使你尝试新模型？
摘要
一条质疑基准测试可信度、询问用户尝试新AI模型动因的推文。
你还相信基准测试吗，还是只听从朋友的建议？是什么促使你尝试新模型？
相似文章
我不再相信模型基准测试，开始运行自己的评估集，这是变化所在[D]
作者描述了由于供应商创建的指标、自报参数和缺乏独立验证而对公开AI模型基准测试失去信心，并主张从真实生产流量中构建自定义评估集以进行更相关的模型比较。
AI模型构建者的不稳定指标与基准测试文化
本文介绍了Benchmarking-Cultures-25数据集，该数据集分析了AI模型构建者如何在新闻稿中选择性突出基准测试。研究发现评估格局碎片化，跨模型可比性有限，并指出基准测试更多被用作市场定位的叙事工具，而非标准化的科学测量手段。
AI基准测试不如模型能否处理乏味的现实责任重要
文章认为，AI基准测试和华丽的演示被过度强调了；真正考验AI可信度的是模型如何处理乏味的现实责任，如遵循指令、承认不确定性、处理边缘情况以及可审计性。
基准最大化
讨论了OpenAI市场份额下滑，而Meta和Google却在增长的问题，质疑高基准分数对普通用户是否重要，并提出AI的真正价值在于作为现有产品生态系统中的一项功能。
还有人觉得AI基准测试在预测实际性能方面越来越没用了吗？
本文讨论了AI基准测试高分与实际真实表现之间日益扩大的差距，重点强调了诸如一致性、延迟和上下文处理等问题。