论文评审流程现已病入膏肓 [D]

简而言之：AI 撰写的审稿意见，以及论文中的 AI 写作。我本来打算给这篇文章起个标题叫“审稿制度的讣告”，但为了不显得太过悲观，我还是只说“病情危重”吧，原因是作者和审稿人两边都在使用 AI 写作。我是 AAAI 2027 和 ICLR 2027 的审稿人。第一阶段和第二阶段已经结束，现在我能看到其他人的审稿意见了。我敢押上一大笔钱说，我看到的这些论文中，大约一半的审稿意见要么完全由 AI 生成，要么是在 AI 生成后经过修改的。这是我的主观看法，我无法证明，但我会试着说服你——至少让你相信，这个问题需要得到的关注远远多于现在。我从 2022 年开始为顶级会议（NeurIPS、ICML、AAAI、ICLR）审稿，总共大约有 10 次。直到最近，我从未对审稿意见，甚至对论文本身，产生过这样的感觉。作者这边：我审的 3 篇 ICLR 投稿中，只有一篇让我觉得是百分之百由人写的（如果连那篇也不是，那我就太难过了）。另外几篇都有一些带着 AI 味道、但你又无法证明的地方，比如过多使用描述性很强的标题，措辞花哨，带有营销色彩，例如“理论预测性能，实证评估予以证实”这样的标题；或者句子又长又密，让人读着读着就跟不上思路，其中不沿用前面已经使用的术语，而是换成同义词，之后又换成更多别的同义词，如此等等。审稿人这边，以下说的是那些我怀疑的审稿意见：不同审稿意见之间，以及同一份审稿意见内部，语言都缺乏变化。有一份审稿意见在缺点部分放了一个“向作者提出的问题”栏目，我怀疑这是因为这次该栏目的名称改成了“需要在作者答辩中回应的具体问题”。他们在新栏目里填了“不适用”。各段落的长度几乎完全一样，仿佛有人让大语言模型列出 5 个优点、5 个缺点、5 个问题。还有一些人类很少会额外费心做的事情，比如不只是说“请提供经过同行评审的参考文献，而不是 arXiv 文献”，还会附上 arXiv 编号；还有一份审稿意见，不仅放了 DOI 链接（到这里都还正常），还额外写了一个“(doi.org)”，看起来像是大语言模型在试图提供来源。审稿人通常时间紧张，一般只求把意思表达清楚，让作者理解，而不会力求每个细节都精确无误。这些审稿意见却写得像是给公众看的。还有弯引号——你可能会觉得，这是因为他们用 Word 之类的软件写的；但结合其他种种迹象，现在这些引号在我看来也有了 AI 味。（以前我没这么频繁地见到弯引号。那时候 Word 也会自动把引号变成弯引号。）像 \\tilde{d} 这样的东西，用的是 Unicode 符号，而不是 LaTeX；用的横线也不是连字符——有一份审稿意见甚至连减号也是如此，等等。至少有两篇 AAAI 投稿只有两份审稿意见，而我强烈怀疑其中另一份是 AI 写的。一切都坏掉了。很遗憾，到目前为止，我还没有解决这个问题的具体想法。你们有吗？也许有一个：即使只是润色文风和语气，也不允许使用 AI？干脆完全禁止 AI 写作。作者觉得只是改变了语气和风格，但读者有时很快就能_感觉_出来。在这些强大的大语言模型出现之前，我们本来也不会根据语言表达来评判论文。我知道这得靠大家自觉遵守，但我觉得这样也可以。说“你可以用 AI 润色”，或许也会让人觉得，大家都期待你用 AI 润色。