帮助 AI 文本检测工具应对不断变化的环境

MIT News — Artificial Intelligence 论文

摘要

MIT 和康奈尔大学的研究人员发现,商用 AI 文本检测工具很容易被伪装文本或自然分布偏移所欺骗,并提出了一种测试时自适应训练技术,可将伪装 AI 文本的检测准确率从 27% 提升至 93%。该成果将在 NeurIPS 上发表。

<p>如果一位老师怀疑学生的期末论文可能由大语言模型(LLM)撰写,可以借助 AI 生成文本检测工具来验证自己的猜测。但在完全依赖检测工具之前,老师或许应该三思。</p><p>MIT 和康奈尔大学的研究人员发现,这类检测工具本身就是 AI 模型,可能会被伪装成人类撰写的 AI 生成文本所欺骗。检测工具也可能因为写作习惯随时间的自然变化,或新型 LLM 的出现而无法识别 AI 文本。</p><p>在<a href="https://arxiv.org/pdf/2606.25152" target="_blank">一篇新论文</a>中,研究人员展示了一种特殊的训练技术,如何让 AI 检测器更加准确并能抵御欺骗,即使人类和 AI 的写作方式在不断变化。</p><p>他们采用了一种称为测试时自适应(test-time adaptation)的方法,使已部署的检测模型能够通过实时调整自身内部机制,从新的无标注数据中学习。这样一来,模型无需从头重新训练即可适应未见过的输入。</p><p>在实验中,一款商用检测工具只能识别约 27% 经过伪装的 AI 生成文本,而新方法达到了 93% 的准确率。</p><p>该方法可帮助教育工作者、编辑、出版商和招聘人员识别那些被伪装成人类撰写的 LLM 生成文本。网络安全专家也可利用它来防范邮件钓鱼诈骗或识别搜索引擎优化欺诈行为。</p><p>“在许多关乎作者身份的重要场景中,人们非常在意文章的作者是谁,从学术出版到短篇小说比赛皆是如此。我们已经证明,测试时自适应能够让你的 AI 检测器更加鲁棒,即使面对 AI 用户持续不断的对抗行为也是如此,”该研究的共同作者、MIT Sloan 管理学院 Drew Houston(2005)职业发展教授 Manish Raghavan 表示。他还在 MIT Schwarzman 计算学院与电子工程与计算机科学系(EECS)联合任职,同时是信息与决策系统实验室(LIDS)的首席研究员。</p><p>论文的其他作者包括第一作者、Cornell Tech 研究生 Kevin Ren,以及高级作者、Cornell Tech 助理教授 Nikhil Garg。该研究将在神经信息处理系统大会(Conference on Neural Information Processing Systems)上发表。</p><p><strong>欺骗检测工具</strong></p><p>能够生成类人文本的 LLM 泛滥,催生了大量商用 AI 检测工具,帮助人们判断一篇文章是否由人类撰写。</p><p>但当被检测文本与工具训练时所接触的文本存在显著差异时,这些检测工具就可能失效。这种情况被称为分布偏移(distribution shift)。</p><p>检测工具的开发者通常会收集来自互联网的文本,并已知其为 AI 生成或人类生成,以此训练模型进行区分。</p><p>然而,检测工具一经发布,人们可能会改变写作方式或使用 AI 生成文本的方式。</p><p>例如,2030 年的人可能会使用 2010 年不常见的新话题和新比喻来写作。用 2010 年数据训练的检测工具可能不熟悉这种新的写作风格,从而错误地将人类撰写的文本标记为 AI 生成。</p><p>检测模型的发布也引发了开发者与想要绕过它的用户之间的猫鼠游戏。这些人可以将 AI 生成文本通过自动化的“人味化”(humanizer)软件工具处理,使其在检测器看来像是人类撰写的。</p><p>“公司发布模型后,一堆‘人味化’工具就会冒出来试图击败它,于是公司又试图将这些被人味化的文本纳入训练,以便检测器能够识别它们,如此往复。这就像洗一次再重复一次,循环可以永远持续下去,”Ren 说。</p><p>研究人员探索了测试时自适应(TTA)是否能让 AI 检测器抵御这些分布偏移。</p><p><strong>自适应实战</strong></p><p>在 TTA 中,研究人员不再将模型冻结使其在部署期间无法改变,而是允许模型在发布后根据传入数据自行调整。对于 AI 文本检测器而言,这些数据就是用户上传的新文本。</p><p>这些数据没有标注,检测工具的开发者并不知道哪些数据是人类写的、哪些是 AI 写的。但这些新数据代表了当下的人类和 AI 写作——正是开发者希望模型能够预测的内容。</p><p>有了足够多的样本,检测器就能学会识别模式,从而判断哪些数据是 AI 生成的,哪些是人类生成的。</p><p>研究人员通过创建包含一定数量 AI 生成文本和人类生成文本的数据集来研究 TTA,但不向模型提供这些标签。他们还利用 LLM 生成一些类似 AI 写作的样例,专门用来规避检测工具。</p><p>随后,他们执行 TTA 训练流程,并在真实标注数据上对模型进行测试。</p><p>在模拟人类语言随时间自然变化的实验中,使用 TTA 的检测器准确率达到 85%,而传统方法只有 73%。</p><p>在针对规避检测工具而设计的写作任务上,现有方法只能识别约 27%,而 TTA 使模型能够识别超过 93% 的伪装文本。</p><p>“TTA 有望在主动应对对抗性 AI 用户这种迭代式‘博弈’行为方面,真正帮助已部署的 AI 检测模型,”Ren 说。</p><p>他补充说,适应人类写作行为的变化是一个更困难的 TTA 问题,因为这些变化发生得更缓慢,方式也更微妙。</p><p>研究人员提醒,随着未来 LLM 生成更加自然的语言,且可验证的人类文本越来越难以获取用于训练,TTA 未必始终是一种有效的解决方案。</p><p>“这个问题是否可解,目前尚不完全清楚,”Raghavan 说。“在一个无法区分人类内容和 AI 内容的世界里,我们该如何看待科学、写作和艺术,这是一个重大而开放的问题。”</p><p>未来,研究人员希望探索 TTA 可能有用的其他策略性领域,并构建更好的基准测试工具,帮助工程师以动态方式改进这些 AI 检测模型。</p><p>本项目使用了 <a href="https://www.pangram.com/" target="_blank">Pangram</a> 提供的 API 额度来使用其 AI 文本检测工具。</p>
查看原文
查看缓存全文

缓存时间: 2026/11/19 03:29

# 助力 AI 文本检测工具应对不断变化的环境 来源:https://news.mit.edu/2026/helping-ai-text-detectors-keep-up-with-changing-conditions-1118 一位老师如果怀疑学生的学期论文可能是由大语言模型(LLM)撰写的,可以借助人工智能生成文本检测工具来证实自己的猜测。但在完全信任检测工具之前,老师最好三思。 来自 MIT 和 Cornell University 的研究人员表明,这类检测工具本身就是 AI 模型,可能被伪装成人类撰写的 AI 生成文本所欺骗。检测工具也可能因写作习惯随时间的自然变化,或新型 LLM 的出现而无法识别 AI 文本。 在一篇新论文 (https://arxiv.org/pdf/2606.25152) 中,研究人员展示了一种特殊训练技术,它可以使 AI 检测工具更加准确,更能抵御欺骗,即便人类和 AI 的写作风格在不断变化也是如此。 他们采用了一种称为测试时适应(test-time adaptation)的方法,允许已部署的检测模型通过实时调整其内部运作方式,从新的无标注数据中学习。通过这种方式,模型无需从头重新训练即可适应未见过的输入。 在实验中,一款商业检测工具只能识别约 27% 经过伪装的 AI 生成文本,而新方法的准确率达到了 93%。 这种方法可以帮助教育工作者、编辑、出版商和招聘经理标记那些试图冒充人类撰写的 LLM 生成文本。网络安全专家也可以利用它来防止邮件钓鱼欺诈或识别搜索引擎优化欺诈。 研究合著者、MIT Sloan School of Management 的 Drew Houston(2005)职业发展教授 Manish Raghavan 说:"在许多事关重大的场景中,人们非常在意作者的身份,从学术出版到短篇小说比赛都是如此。我们已经证明,测试时适应能够让您的 AI 检测工具更加稳健,即便 AI 用户持续进行对抗性操作也不例外。"他还兼任 MIT Schwarzman College of Computing 在电气工程与计算机科学系(EECS)的联合职位,也是信息系统与决策实验室(LIDS)的主要研究员。 论文的其他作者包括第一作者、Cornell Tech 的研究生 Kevin Ren,以及通讯作者、Cornell Tech 助理教授 Nikhil Garg。该研究成果将在 Conference on Neural Information Processing Systems 上发表。 **欺骗检测工具** 能够生成类人文本的 LLM 的大量涌现,催生了众多商业 AI 检测工具,帮助人们判断一篇文章是人类还是 AI 创作的。 然而,当待检测文本与模型训练时所学习识别的文本差异显著时,这些检测工具就可能失效。这种情况被称为分布偏移(distribution shift)。 检测工具开发者通常通过收集来自互联网的文本来训练模型,这些文本已知是由 AI 或人类生成的。他们训练模型来区分两者。 然而,检测工具发布后,人们可能会改变写作方式或使用 AI 生成文本的方式。 例如,2030 年的写作者可能会谈论不同的话题,使用 2010 年不常见的新类比。一个用 2010 年数据训练的检测工具可能不熟悉这种新写作风格,从而错误地将人类撰写的文本标记为 AI 生成。 检测模型的发布还会在开发者和试图绕过检测的用户之间引发一场猫鼠游戏。这些人可以将 AI 生成的文本通过自动"人化"软件工具处理,使其在检测工具看来像是人类撰写的。 Ren 说:"公司发布模型后,一堆'人化工具'就会冒出来试图击败它,于是公司又尝试将这些人化文本纳入训练数据,让检测工具能够识别它们,如此循环往复。就像洗了又吹、吹了又洗。这个循环可以永远持续下去。" 研究人员探讨了测试时适应(TTA)是否能够使 AI 检测工具抵御这些分布偏移。 **适应过程详解** 在 TTA 中,研究人员不再将模型冻结使其在部署后无法更改,而是允许模型在发布后根据传入数据自行适应。对于 AI 文本检测工具来说,这些数据就是用户上传的新文本片段。 这些数据没有标注,因此检测工具开发者不知道哪些数据是人类撰写的,哪些是 AI 模型生成的。但这些新数据代表了当代人类和 AI 的写作风格——正是开发者希望模型能够预测的内容。 有了足够多的样本,检测工具就能学会识别模式,从而判断哪些数据是 AI 生成的,哪些是人类生成的。 研究人员通过创建包含一定比例 AI 生成文本和人类生成文本的数据集来研究 TTA,但不向模型提供这些标签。他们还利用 LLM 生成了一些类似 AI 撰写的文本样例,专门用于规避检测工具。 然后,他们执行 TTA 训练过程,并在有真实标签的数据上测试模型。 在模拟人类语言随时间自然变化的实验中,使用 TTA 的检测工具准确率达到 85%,而传统方法仅达到 73% 的准确率。 在针对规避检测工具而设计的文本方面,现有方法只能识别约 27%,而 TTA 使模型能够识别超过 93% 的伪装文本。 Ren 说:"TTA 有望真正帮助已部署的 AI 检测模型,使其能够主动应对对抗性 AI 用户这种迭代式的'钻空子'行为。" 他补充说,适应人类写作行为的变化是一个更困难的 TTA 问题,因为这种变化更为缓慢,且发生的方式更加微妙。 研究人员提醒说,TTA 未必总是有效的解决方案,因为未来的 LLM 将产生更自然的语言,而且越来越难找到可验证的人类文本来进行训练。 Raghavan 说:"这是否是一个可以解决的问题,目前尚不完全清楚。在一个无法区分人类内容和 AI 内容的世界里,我们应该如何对待科学、写作和艺术,仍存在一些重大的开放性问题。" 未来,研究人员希望探索 TTA 可能有用的其他类似策略性领域,并构建更好的基准测试工具,帮助工程师以动态的方式改进这些 AI 检测模型。 本项目使用了 Pangram (https://www.pangram.com/) 提供的 API 额度来使用其 AI 文本检测工具。

相似文章

人们能在75%的情况下检测出AI生成的文本

Reddit r/artificial

UnslopAI的一项测试显示,读者能在75%的情况下识别出AI生成的文本,这凸显了让AI写作听起来更人性化、以避免搜索引擎惩罚并保持真实性的必要性。