用于 CVPR、ICLR、ICML 和 NeurIPS 论文的 AI 同行评审工具 [D]

Reddit r/MachineLearning 工具

摘要

一个名为 Paper Review Harness 的开源 GitHub 项目,利用 30 个 AI 审稿人角色模拟 CVPR、ICLR、ICML、NeurIPS 等会议的同行评审反馈,帮助研究者在投稿前对论文进行压力测试。它提供分区评分、缺陷识别和修订追踪工作流,但不能替代真实同行评审。

偶然发现了一个叫 Paper Review Harness 的 GitHub 项目,觉得它可能对正在准备机器学习研究论文的人有用。它使用 30 种不同的 AI 审稿人角色,模拟论文在 CVPR、ICLR、ICML 和 NeurIPS 等会议上可能收到的反馈。有意思的是,它不只是简单地让大语言模型“审阅我的论文”。它提供:来自不同审稿视角的独立评审 各章节的评分和详细批评 对创新性、方法、实验和表述清晰度方面不足的识别 按优先级排序的改进反馈 跟踪此前提出的问题是否已得到实际解决的修改流程 它还支持根据会议和研究贡献类型选择不同的评审小组。这个项目是开源的,旨在与 AI 智能体环境配合使用。显然,模拟评审不能替代真正的同行评审,其评分也不应被当作论文录用预测。不过,它似乎是一种在投稿前对论文进行压力测试的有趣方式。GitHub:https://github.com/Optimizer077/paper-review-harness 很想知道研究人员如何看待这种方法。这类工具能否成为论文写作流程中有用的一环?
查看原文

相似文章

@GitHub_Daily: AI-research-feedback,一个给 Claude Code 用的学术审稿技能。 核心能同时跑六个审稿智能体,分别盯语法、前后一致性、公式、图表和论证漏洞。 还能指定 QJE、AER 这类期刊,模拟对应审稿人的挑剔程度,最后合…

X AI KOLs Timeline

AI-research-feedback 是一个为 Claude Code 设计的学术审稿技能,通过六个并行智能体检查语法、一致性、公式、图表和论证漏洞,支持指定期刊模拟审稿人,最后生成结构化审稿报告。

迈向自动化科学评审:谷歌的Paper Assistant Tool

Hugging Face Daily Papers

本文介绍了论文助手工具(PAT),这是一种用于深度科学评审的代理型AI框架,利用推理缩放技术识别数学错误及其他缺陷,在召回率上比零样本方法提升了34%。在STOC和ICML的试点部署表明,它能够在提交前捕捉关键错误,减轻人类审稿人的负担。

@GitHub:如何判断 AI 代码审查工具能否抓住真正重要的问题,而不引入噪音?ReviewBench 是一个全新的开源基准……

X AI KOLs Following

GitHub 发布了 ReviewBench,这是一个针对 AI 代码审查智能体的开源基准,基于对 1.039 亿个 GitHub pull request 的分析构建,包含覆盖 19 种编程语言的 219 个 PR 语料,并提供多来源的 ground truth 以及精确率/召回率指标,帮助团队评估和比较自己的审查智能体。