DetectRL-X:面向可靠的多语言及真实世界的LLM生成文本检测
摘要
DetectRL-X是一个全面的多语言基准测试,用于评估跨8种语言和6个领域的LLM生成文本检测器,包括针对AI辅助写作操作和扰动的压力测试。它揭示了当前检测器在多语言场景中的优势与局限性。
arXiv:2605.15518v1 Announce Type: new
摘要:随着大语言模型(LLM)被滥用的风险日益增加,对其生成内容的有效检测和治理变得至关重要。尽管现有检测器表现出色,但在多语言和真实世界场景中的可靠性和潜力仍未得到充分探索。在本研究中,我们提出了DetectRL-X,这是一个全面的多语言基准测试,旨在从8个维度评估先进的检测器。该基准涵盖商业环境中常用的8种语言,并收集了来自6个极易受到LLM滥用领域的类人文本。为了更贴合实际应用,我们使用4种流行的商业LLM生成文本,并纳入典型的AI辅助写作操作(如润色、扩写和缩写)以捕捉真实的使用模式。此外,我们开发了一个多语言的释义和扰动攻击框架,用于模拟多样的人工修改和写作噪声,从而对检测器进行跨语言压力测试。在DetectRL-X上的实验揭示了当前最先进检测器在应用于不同语言资源时的优势与局限性。我们进一步分析了领域、生成器、攻击策略、文本长度和优化操作对不同语言性能的影响,凸显了DetectRL-X作为增强多语言和特定语言检测器的有效基准。
查看缓存全文
缓存时间: 2026/05/18 06:32
# DetectRL-X:面向可靠的多语言与真实世界大语言模型生成文本检测 来源:https://arxiv.org/abs/2605.15518 作者:Junchao Wu (https://arxiv.org/search/cs?searchtype=author&query=Wu,+J),Yefeng Liu (https://arxiv.org/search/cs?searchtype=author&query=Liu,+Y),Chenyu Zhu (https://arxiv.org/search/cs?searchtype=author&query=Zhu,+C),Hao Zhang (https://arxiv.org/search/cs?searchtype=author&query=Zhang,+H),Zeyu Wu (https://arxiv.org/search/cs?searchtype=author&query=Wu,+Z),Tianqi Shi (https://arxiv.org/search/cs?searchtype=author&query=Shi,+T),Yichao Du (https://arxiv.org/search/cs?searchtype=author&query=Du,+Y),Longyue Wang (https://arxiv.org/search/cs?searchtype=author&query=Wang,+L),Weihua Luo (https://arxiv.org/search/cs?searchtype=author&query=Luo,+W),Jinsong Su (https://arxiv.org/search/cs?searchtype=author&query=Su,+J),Derek F. Wong (https://arxiv.org/search/cs?searchtype=author&query=Wong,+D+F) 查看 PDF (https://arxiv.org/pdf/2605.15518) > **摘要:** 随着大语言模型(LLM)被滥用的风险日益增加,对其生成内容的有效检测与治理变得愈加关键。尽管现有检测器表现不俗,但在多语言和真实世界场景下的可靠性与潜力仍未得到充分探索。在本研究中,我们引入了 DetectRL-X——一个全面的多语言基准测试,旨在从 8 个维度评估先进检测器。该基准涵盖商业场景中常用的 8 种语言,并收集了 6 个极易受 LLM 滥用影响的领域的人类撰写文本。为了更好地贴合实际应用,我们使用 4 个流行的商业 LLM 生成文本,并纳入典型的 AI 辅助写作操作(如润色、扩写和压缩)以捕捉真实的使用模式。此外,我们开发了一个多语言框架,用于 paraphrasing 和 perturbation 攻击,以模拟多样的人类修改和写作噪声,从而实现对检测器跨语言的压力测试。在 DetectRL-X 上的实验揭示了当前最先进检测器在面对多样化语言资源时的优势与局限。我们进一步分析了领域、生成器、攻击策略、文本长度和精炼操作如何影响不同语言下的性能,突显了 DetectRL-X 作为强化多语言及特定语言检测器的有效基准的价值。 ## 提交历史 来自:Junchao Wu [查看电子邮件 (https://arxiv.org/show-email/1dff1eb9/2605.15518)] **[v1]** 2026年5月15日,星期五,UTC 01:29:26(10,065 KB)
相似文章
AI生成文本检测中语言特征的系统性分析:跨领域与跨模型研究
一项大规模实证研究对284个语言特征在27个大语言模型和10个文本领域中的表现进行了分析,以评估哪些特征能够可靠地检测AI生成文本。研究发现,词汇丰富度指标是跨领域和跨模型最稳健的信号,而许多其他已提出的指标则高度依赖具体上下文。
MELD:用于AI生成文本的多任务均衡学习检测器
本文介绍了MELD,这是一种用于AI生成文本的检测器,它通过使用辅助头进行多任务学习(涵盖生成器家族、攻击类型和源域)来提高鲁棒性。MELD在RAID基准测试中表现出色,并在对抗攻击下保持低误报率。
多层次上下文Token关系建模用于机器生成文本检测
本文提出了一种用于机器生成文本检测的多层次上下文Token关系建模框架,融合局部马尔可夫信息校准与全局规则支撑推理,以低计算开销提升跨大语言模型和跨领域场景下的检测性能。
轻量级风格一致性分析:用于多媒体内容审核的大语言模型生成文本鲁棒性检测
提出了 LiSCP,一种轻量级的风格一致性分析方法,旨在鲁棒性地检测大语言模型(LLM)生成的文本内容,重点关注在对抗性操纵下特征的稳定性。在域内和跨域检测中取得了优异的性能,并具有显著的鲁棒性。
使用“经典”机器学习检测LLM生成的文本
一位开发者探索使用经典机器学习来检测LLM生成的网络小说,创建了一个开源演示和模型,单句准确率约为85%。