无法复现现代论文声明 [D]
摘要
一位研究人员报告称无法复现现代论文中的声明,在检查的7项声明中,有4项无法复现,2项在GitHub上存在未解决的问题,引发了对研究质量标准的担忧。
我尝试复现了本人能够检查的论文声明。今年在检查的7项声明中,有4项无法复现,其中2项在GitHub上有活跃的未解决问题。这确实让我对当前的研究状况产生了质疑。
相似文章
是时候对不包含可复现结果代码的论文进行直接拒稿了 [D]
作者在为三大顶级会议审稿后,认为没有提供代码以复现结果的论文应被直接拒稿,并指出其审阅的12篇论文中仅1篇提供了完整代码,7篇未提供任何代码。
可复现性在机器学习研究中似乎正变得无关紧要。是否为时已晚?[D]
一篇观点文章指出,机器学习研究中的可复现性正濒临失效,原因在于实体AI需要昂贵硬件、科技巨头发布了难以验证的性能数据,以及竞争压力使得作者不愿分享代码。
方法是否支持声明?同行评审中的论文内验证
本文介绍了论文内声明验证框架,该框架利用大型语言模型评估论文中的创新声明是否得到方法学证据的支持,填补了现有自动化同行评审系统的空白。人工评估表明,该框架与人类评审员的关注点显著一致,特别是在创新相关问题上。
神经符号文献中仅6.5%可通过其发布工件复现:一个六阶段审计框架及其首次实例化
本文提出一个六阶段审计框架,用于评估神经符号AI文献的可复现性,发现仅有6.5%的已发布工件研究可被复现,凸显了研究可复现性的危机。
AAAI 2027 审稿:没有代码提交?[D]
一位 AAAI 2027 的审稿人对提交论文中附带代码的数量之少感到惊讶,尽管会议强调可复现性,并询问缺乏代码是否应影响审稿评分。