@tunguz: 哇。这可能比可重复性危机严重得多。
摘要
一款名为 Astra 的 AI 工具被用于分析学术复现包,发现了大量代码错误,其中一些错误推翻了顶级期刊的核心结论,同时还揭示出许多模型并未被正确运行。
哇。这可能比可重复性危机严重得多。
查看缓存全文
缓存时间: 2026/09/06 20:53
哇。这可能比可重复性危机还要严重得多。
Crémieux (@cremieuxrecueil): 我用 Astra 审查了一批复现包,它发现了大量代码错误。
其中大部分都无关紧要,但有些却推翻了顶刊论文的核心结果。
Astra 还发现,许多模型根本就没有被正确运行。
相似文章
@gdb: 用 Astra 检查科学论文
Astra 是一款用于检查科学论文的工具,它在复现包中发现了大量代码错误,部分错误甚至推翻了顶级期刊的核心结论,同时还揭示出许多模型并未正确运行。
@dair_ai: 编码代理能否复现科学机器学习论文?我们知道这是可能的,因为我们已经可以做到@dair_ai。仍…
本文介绍了“论文复现”(Paper-replication),这是一种编码代理的工作流程,通过将每项声明转化为带有记录证据的目标,系统地复现科学机器学习论文,并在十二次运行中证明所有工作区和目标均已完成。
@askalphaxiv: 70%的AI研究不可重复。上周ICML 2026期间,有超过6000+篇研究论文发布,但……
Alphaxiv和Hugging Face发起了一项社区挑战,旨在检验ICML 2026上AI研究论文的可重复性,提供4500美元的GPU积分和一个自动研究代理来帮助参与者。
OpenAI可能涉嫌窃取另一重大证明
指控称OpenAI可能在未发表的数学研究上训练其Astra模型,引发了对知识产权盗窃和AI开发中潜在大规模不当行为的担忧。
我们通过复现ICML的2,200篇论文学到了什么
Hugging Face 分享了社区黑客马拉松的发现,1200名参与者使用编码代理复现了2,226篇ICML论文,凸显了评审严谨性问题以及AI代理扩展验证的潜力。