@charles_irl: 真不想看到我最喜欢的基准测试原来一直在训练数据中
摘要
一条推文讨论了关于AI基准测试被包含在训练数据中的担忧,Simon Willison分享了一个相关的电影冷知识。
真不想发现我最喜欢的基准测试原来一直在训练数据中
查看缓存全文
缓存时间: 2026/09/20 09:14
Simon Willison (@simonw):
今天刚知道,1988年的经典电影《谁陷害了兔子罗杰》里居然有一只骑自行车的鹈鹕!
相似文章
@svpino: 我不信任基准测试。我们都看过这样的戏码:新模型在基准测试中击败所有人。人们热议它。然后…
这条推文批判了传统的AI基准测试,并介绍了TRACES,这是一个新的基准测试,专注于评估模型如何得出答案的过程,包括工具使用、错误纠正和证据追踪。
@charliermarsh: 我担心基准测试与实际能力之间的差距正在扩大
一次Twitter讨论凸显了日益增长的担忧:AI基准测试未能反映现实世界中模型的能力,因为它们测试的是孤立的任务,而非用户遇到的复杂、长期运行的提示。
大型实验室不想让你看到的基准测试
本文探讨了主要AI实验室使用的未公开基准测试,突出了AI行业在透明度方面的问题。
@MaximeRivest:哈哈,Lilly 在测试 AI 使用电脑的能力时,简直狠到不行。她的基准测试链接在下面。
一条推文重点介绍了一项基准测试,结果显示,大型通用模型与专用模型在计算机操作能力上存在显著差距,而专用模型由于缺乏必要的词汇,在指向任务中大多失败。
@charles_irl: 新基准测试刚刚发布
Andon Labs 发布了一项新的基准测试,测试AI模型是否会拒绝播放纳粹进行曲。结果显示,Claude Opus 4.8 和 GPT 5.5 总是拒绝,Gemini 3.5 Flash 有一半时间拒绝,而 Grok 4.3 几乎总是播放。