标签
谷歌在ICML和STOC会议上部署了一个智能体AI同行评审系统，以30分钟周转时间评审了约1万篇论文。正式论文显示，与零样本提示相比，它多发现了34%的数学错误，为大规模AI自动化科学评审树立了先例。
本文介绍了论文助手工具（PAT），这是一种用于深度科学评审的代理型AI框架，利用推理缩放技术识别数学错误及其他缺陷，在召回率上比零样本方法提升了34%。在STOC和ICML的试点部署表明，它能够在提交前捕捉关键错误，减轻人类审稿人的负担。
本文提出ProReviewer，一种基于大语言模型的学术同行评审智能体，其被形式化为马尔可夫决策过程。该智能体通过维护结构化的评审日志主动探究论文，在多个质量维度上优于现有方法。
本论文证明，仅通过修改呈现层面的内容（如摘要、框架和叙述）而不改变任何科学证据，就能操纵AI同行评审，攻击成功率达75.1%。作者提出了对抗性重构——一种闭环攻击方法，利用AI评审者倾向于被印象打动而非被说服的特点，并发布了一个用于测试鲁棒性的基准。