古德哈特定律盯上了每一个你信任的基准
摘要
讨论了古德哈特定律如何削弱对AI基准的信任，因为指标一旦成为目标，就会失去作为评估标准的有效性。
暂无内容
相似文章
AI 基准测试：爬错了山头（阅读约 24 分钟）
Contrary Research 的报告探讨了 LMArena 等 AI 基准测试如何在强化学习优化下沦为刷分目标，运用古德哈特定律论证基准测试的提升已不再反映真实世界的能力进步，并呼吁开发新一代更难被博弈的评估体系。
还有人觉得AI基准测试在预测实际性能方面越来越没用了吗？
本文讨论了AI基准测试高分与实际真实表现之间日益扩大的差距，重点强调了诸如一致性、延迟和上下文处理等问题。
AI模型构建者的不稳定指标与基准测试文化
本文介绍了Benchmarking-Cultures-25数据集，该数据集分析了AI模型构建者如何在新闻稿中选择性突出基准测试。研究发现评估格局碎片化，跨模型可比性有限，并指出基准测试更多被用作市场定位的叙事工具，而非标准化的科学测量手段。
我不再相信模型基准测试，开始运行自己的评估集，这是变化所在[D]
作者描述了由于供应商创建的指标、自报参数和缺乏独立验证而对公开AI模型基准测试失去信心，并主张从真实生产流量中构建自定义评估集以进行更相关的模型比较。
新评测标准的时机
本文讨论了在AI领域引入新评测标准的必要性，以更好地评估模型性能并解决现有标准的局限性。