我用AI伪造了一篇科学论文，结果如下

# 我用AI生成了一篇科学论文 来源：https://spectrum.ieee.org/ai-generated-scientific-papers Benjamin Skuse着手测试AI生成的研究成果能否冒充真实的科学论文。 **科学正面临垃圾信息的**侵袭，而且过滤器正在被堵塞。 据各方报道，学术出版界正被所谓的"AI垃圾内容"（AI slop）所淹没——这些是用AI批量生产的低质量内容。到2025年，估计已有57%的已发表学术论文 (https://www.pnas.org/doi/10.1073/pnas.2605754123) 被检测出有大语言模型（LLM）介入的痕迹，而2023年这一比例仅为12%。更甚者，2025年被发现完全由AI生成的**Nature Communications**审稿意见 (https://arxiv.org/html/2602.00319v2) 超过了12%。 鉴于2025年每40篇有统计证据显示使用了AI的论文中，仅有一篇正式披露了这一点 (https://www.pnas.org/doi/10.1073/pnas.2526734123)，这些数字很可能严重低估了当前LLM的实际参与程度。当然，有AI使用证据并不一定意味着一篇论文就是垃圾内容。但据某些估计，如今每年有数十万篇虚假的、往往由AI生成的论文被炮制出来。 "受到威胁的不仅仅是[科学]记录，而是科学本身，"IEEE研究诚信经理Amanda Sulicz (https://www.linkedin.com/in/sulicz/) 警告道。"AI垃圾内容正在彻底侵蚀人们对科学的信任，以及我们花费数个世纪建立起来的每一个科学流程。" 然而，声称这一问题十分严重——甚至对科学构成生存威胁——的统计数据和声明，实际上并不能完全传达其严重程度。用AI来创建一篇看似可信但完全虚假的论文，到底有多容易？在不给本已不堪重负的审稿人（他们无偿做这份工作）增添更多负担的前提下，出版商是否有足够的工具将AI垃圾内容挡在科学记录之外？ 借鉴"凭感觉编程"（vibe coding）的理念——程序员用自然语言提示来生成代码——我决定"凭感觉做研究"（vibe-research），通过向LLM提供提示，以最少的人为输入来生成假设、代码和文本。然后我联系了多学科开放获取期刊*IEEE Access* (https://ieeeaccess.ieee.org/) 的执行主编Jenny Mahoney (https://www.linkedin.com/in/jenny-mahoney-b03a683/)，询问我们是否可以进行一场攻防推演，尝试让我的AI生成的怪物论文通过她期刊的防线。她和IEEE欣然同意。 这项实验将分为两个阶段进行。第一阶段，测试一个不具备任何特殊AI专业知识的人，能否使用现成的AI工具生成一篇令人信服的论文，描述一项从未进行过的研究，并且做得足够好以骗过出版商的防线。随后我将加大赌注：当更先进的AI系统不仅撰写论文，还能开展底层研究时，会发生什么？ 在这过程中，这项实验成为了一个窗口，展现了AI自动化如何正在变革科学发现，并迫使各方利益相关者重新思考整个学术出版体系。 ## 第一轮：制造伪造品 为了给我创建一篇令人信服的虚假论文的机会，我允许自己进行多次提示（在合理范围内）。但为了公平起见，我不能使用最先进的付费版本LLM——只能使用免费版ChatGPT (https://spectrum.ieee.org/tag/chatgpt)（当时为GPT-5.3/5.2 Mini）和Gemini（3 Flash）。此外，我不能直接编辑任何输出，也不能向专业AI提示工程师求助。这必须是一次业余尝试，论文尽可能由LLM独立生成。 > 一个人在夜晚的花园办公桌前工作，透过窗户可见 > Benjamin Skuse在他的写作工作室中利用AI进行科学研究。 > Luigi Avantaggiato 我假设使用虚假的作者姓名和所属机构会立即引起警觉，而且我不想把知名学者的名字牵扯进实验中，所以最佳方案是以自己为唯一作者。这个选择限制了我只能选择自己有一定学术经验的领域。于是我选择了近二十年前的博士课题：光孤子（optical solitons），即传播过程中形状不发生变化的独立光脉冲。 我的第一次尝试——"你能用vibe-research帮我写一篇光孤子领域的原创论文吗？"——结果不尽如人意。虽然Gemini乐于接受这项任务（不像ChatGPT，后者在拒绝生成合成数据 (https://spectrum.ieee.org/tag/synthetic-data) 或研究方面更为坚决），但结果令人失望。而且这突显了整个过程中反复出现的问题：没有任何真实研究可供参考时，输出内容单薄得可笑，LLM往往连四页都写不满。然而，随着我越来越熟练地使用提示词，它们逐渐放开手脚，变得更加能言善辩。 我把论文拆分成各个组成部分——摘要、引言、方法等等——逐一攻克。如果一个LLM拒绝继续，就切换到另一个，然后"假设性地"询问下一步该怎么做，通常就能奏效。经过大约十几次提示，我得到了一篇看起来相当真实的论文。又经过十来次提示，我生成并整理了图表和图注，生成了参考文献和引文，并将论文转换为*IEEE Access*要求的格式。 读到这个阶段，我仔细通读了全文。对我来说，它看起来相当不错。科学内容听起来令人信服。我甚至开始幻想回到学术界，去实际开展LLM提出的那些实验。 更重要的是，我没有发现任何显而易见的"AI痕迹"会立刻被标记。例如，LLM没有产生任何别扭的措辞——即对标准技术术语的不寻常改写，比如用"深层神经组织"来替代"深度神经网络"。 其他AI痕迹则可能存在，涉及一些风格上的小癖好，比如模糊限定语（"可能的、典型的"）、三词并列（"该研究提供了一个清晰、简洁且可操作的框架"）以及程式化的过渡句（"总之，……"）。但正如前一句话所示，这些小癖好很难被发现，因为缺乏想象力的人也经常这样写。 ## 第一轮：尝试发表 把假论文交给*IEEE Access*让我内心纠结。在费了相当一番功夫制作AI伪造品之后，如果它通过了检查，我会高兴吗？还是会因为出版商最后的防线只剩越来越不堪重负的同行评审社区而感到难过？而如果它被发现了，我是会因为自己没想到某个红旗信号而生气，还是会因为检查工具尽职工作而感到欣慰？ 结果，当论文因虚构的参考文献（即所谓的"幽灵引文"）被迅速识别出来时，我感到如释重负。事后我用Gemini再跑了一遍论文，它毫无愧色地报告称："有七篇现代LLM相关的研究参考文献是为支撑论文特定叙述而捏造的。"谢谢你提前告知，Gemini！ 事实上，Gemini低估了幽灵引文的数量。当Mahoney用名为STM Integrity Hub (https://stm-assoc.org/what-we-do/strategic-areas/research-integrity/integrity-hub/) 的研究诚信检测工具运行这篇论文时，她发现了12篇；来自MolecularConnections (https://molecularconnections.com/) 的另一个检测工具无法验证24篇参考文献，其中包括一篇只有一个作者、且该作者名为经典模板人物"John Smith"的文献（无意冒犯所有学术界的John Smith们）。"我是实验物理学家出身，所以这完全不是我的领域，但论文中的内容在科学上似乎没有任何明显*错误*，"Mahoney说。"问题在于，大量虚构的参考文献立刻让整个研究都变得可疑。" 来自意大利罗马第三大学的光孤子专家、我之前的合作者Gaetano Assanto (https://optow.ele.uniroma3.it/assanto.php) 对这篇假论文的反馈也喜忧参半。他专注于论文本身，认为它写得相当专业。但他指出，论文中的数学内容非常密集（"一口气塞了太多数学公式给我！"），需要专业知识才能评估。此外，虽然文本看起来合理，Assanto注意到摘要中过度使用了缩写词，并且对几个被自信地断言的物理学论断持怀疑态度——那些论断充其量是可争议的。 ## AI军备竞赛 从某个层面来看，这个结果是积极的：一个完全没有AI专业知识的普通人，使用免费工具，就无法让一篇AI伪造的论文通过出版商的自动防线或潜在审稿人的敏锐眼光。但这远非学术出版体系的一场大胜。借助通用LLM和基本的提示技巧，我竟然凭空捏造出了一篇表面上看似合理的科学论文——而所基于的研究从未发生过。更先进的LLM已经不再犯它们那些免费、更笨的同类所犯的错误了。 这些工具旨在解决科学发现中的一个严重瓶颈：我们。 在学术出版界有一个常识：在不法分子与出版商之间的猫鼠游戏中，AI垃圾论文持续穿透出版商的防线。"感觉今天开发的检测工具，可能无法应对明天AI制造的论文，"IEEE出版伦理与行为总监Luigi Longobardi (https://www.linkedin.com/in/luigi-longobardi-38390819/) 说。这让平凡的同行评审成为出版商最后的防线。然而，同行评审根本无法应对通过其中的海量论文——无论是合法论文还是垃圾论文。 早在AI工具普及之前，同行评审体系就已被推向崩溃边缘，2022年处理了超过300万篇论文 (https://ncses.nsf.gov/pubs/nsb202333)。从根本上说，这个问题源于科学界的"不发表就出局"（publish-or-perish）文化，它迫使学者们不断在知名期刊上发表论文，以获得经费、推进职业生涯。这种文化不仅迫使许多学者定期产出增量性的研究，还长期驱使一些人寻求"论文工厂"（paper mills）——即生产低质量或虚构论文的不道德组织——的帮助，以跟上步伐。AI只是放大了这些现有的动态。 ## 学者们的负担 Mahoney表示，仅*IEEE Access*一年就收到约60,000份投稿，接收约20%，即大约12,000篇论文。每篇被接收的论文都至少由两名独立审稿人评审。尽管该期刊拥有数以万计的同行评审人，但邀请他们越来越困难——每篇文章平均发出的审稿邀请数量自2018年以来增加了50%。对于这些志愿者来说，同行评审在教学和开展自己研究之余，已经是一项重大承诺。现在他们还被要求识别AI垃圾内容。 当然，同行评审并非对任何论文审查的终点。一旦论文进入科学记录，还必须经受科学共同体的检验。正是在这个阶段，数以千计带有不当AI使用迹象（以及其他形式学术不端）的论文被曝光。 有两个知名的平台致力于这项重要且完全由志愿者主导的出版后评审工作。PubPeer (https://pubpeer.com/) 是研究人员——常被称为"科学侦探"——匿名指出文献中缺陷的地方。而Retraction Watch (https://retractionwatch.com/) 则记录并公开科学记录中的更正。 即使是追踪科学文献问题的人，自己也可能被卷入AI捏造的事件中。Retraction Watch联合创始人、PubPeer基金会董事会成员Ivan Oransky (https://www.linkedin.com/in/ivanoransky/) 就曾遇到过包含虚构参考文献的论文，而那些文献被错误地归属于他。其中一篇文章 (https://link.springer.com/article/10.1007/s40199-025-00580-z) 批评了出版后同行评审，文中包含一篇据称由Oransky本人撰写的虚构参考文献——"这还挺搞笑的，"他笑着说。 Oransky认为，AI暴露了学术出版体系中长期存在的弱点，而非创造了一个全新的问题："我把它比作一场火灾，'不发表就出局'一直是助燃的引火物，论文工厂是汽油，而AI是加速剂。"但尽管令人担忧，这场危机也可能创造机遇，他说。"如果我试图保持乐观的话，也许AI垃圾内容和大量的投稿能让更多人意识到这些问题，并尝试从根本上解决它们。" ## 模糊的界限 我的自制伪造品因为当今出版商知道如何识别的原因而失败了。但这引出了一个更令人不安的问题：当AI不仅是在伪造论文，而是在进行模糊正当科学与AI捏造之间界限的研究时，会发生什么？ 与我的vibe-research论文相比，新的自动化研究系统正在将科学流程中越来越大的部分交给AI。包括FARS（全自动化研究系统，Fully Automated Research System）(https://arxiv.org/abs/2606.31651)、AutoResearchClaw (https://github.com/aiming-lab/AutoResearchClaw)、The AI Scientist-v2 (https://github.com/sakanaai/ai-scientist-v2)、Zochi (https://www.intology.ai/)、AI Researcher (https://arxiv.org/abs/2505.18705) 和DeepScientist (https://deepscientist.cc/) 在内的工具，都旨在解决科学发现中的一个严重瓶颈：我们。 当AI不仅在伪造论文，而是在进行模糊正当科学与AI捏造之间界限的研究时，会发生什么？ 通常只需一个提示，这些AI引擎就能进行全面的文献检索，并据此生成一个完全合理的研究提案。它们可以使用数字数据集和模拟来设计和执行实验，然后撰写一篇完整的研究论文——在最初的提示之后，全程无需人类输入。最新的系统甚至开始超越数字领域。例如，LabClaw (https://insilico.com/news/tmikccj2f1-advancing-drug-discovery-from-automation) 现在可以连接自主实验室，为药物发现 (https://spectrum.ieee.org/tag/drug-discovery) 等任务生成真实世界的数据。 从大多数角度来看，这些输出就是真正的研究，因此潜在地值得发表。但在人类仅以最表面形式参与其中的情况下，这些工具让人质疑"正当科学"（legitimate science）这个概念的意义。 FARS在今年引起了轰动——它在417小时内生成了166篇论文 (https://arxiv.org/abs/2606.31651)。该系统由总部位于新加坡的初创公司Analemma (https://www.crunchbase.com/organization/analemma) 开发。"我们创建FARS，是因为研究仍受制于人类注意力、分散的工具、稀缺的技术劳动力以及缓慢的实验迭代，"Analemma产品运营与合作伙伴关系经理苏希文（Xiwen Su）(https://www.linkedin.com/in/suxiwen/) 解释道。"FARS可以同时追踪多条研究线程，全天候不间断、无疲劳、规模化运行。"（我用来访问FARS的在线服务在本文报道期间已因Analemma被百度 (https://baike.baidu.com/fr/item/Analemme/3430299) 收购而停用。） 苏希文和Analemma团队欣然同意让我自由使用FARS，并给了我足够的额度来创建一篇论文。这又给了我一个机会，来测试Mahoney的研究诚信检测工具。 ## 第二轮：使用AI科研引擎 FAR