DetectRL-X:面向可靠的多语言及真实世界的LLM生成文本检测
摘要
DetectRL-X是一个全面的多语言基准测试,用于评估跨8种语言和6个领域的LLM生成文本检测器,包括针对AI辅助写作操作和扰动的压力测试。它揭示了当前检测器在多语言场景中的优势与局限性。
arXiv:2605.15518v1 Announce Type: new
摘要:随着大语言模型(LLM)被滥用的风险日益增加,对其生成内容的有效检测和治理变得至关重要。尽管现有检测器表现出色,但在多语言和真实世界场景中的可靠性和潜力仍未得到充分探索。在本研究中,我们提出了DetectRL-X,这是一个全面的多语言基准测试,旨在从8个维度评估先进的检测器。该基准涵盖商业环境中常用的8种语言,并收集了来自6个极易受到LLM滥用领域的类人文本。为了更贴合实际应用,我们使用4种流行的商业LLM生成文本,并纳入典型的AI辅助写作操作(如润色、扩写和缩写)以捕捉真实的使用模式。此外,我们开发了一个多语言的释义和扰动攻击框架,用于模拟多样的人工修改和写作噪声,从而对检测器进行跨语言压力测试。在DetectRL-X上的实验揭示了当前最先进检测器在应用于不同语言资源时的优势与局限性。我们进一步分析了领域、生成器、攻击策略、文本长度和优化操作对不同语言性能的影响,凸显了DetectRL-X作为增强多语言和特定语言检测器的有效基准。
查看缓存全文
缓存时间: 2026/05/18 06:32
# DetectRL-X:面向可靠的多语言与真实世界大语言模型生成文本检测 来源:https://arxiv.org/abs/2605.15518 作者:Junchao Wu (https://arxiv.org/search/cs?searchtype=author&query=Wu,+J),Yefeng Liu (https://arxiv.org/search/cs?searchtype=author&query=Liu,+Y),Chenyu Zhu (https://arxiv.org/search/cs?searchtype=author&query=Zhu,+C),Hao Zhang (https://arxiv.org/search/cs?searchtype=author&query=Zhang,+H),Zeyu Wu (https://arxiv.org/search/cs?searchtype=author&query=Wu,+Z),Tianqi Shi (https://arxiv.org/search/cs?searchtype=author&query=Shi,+T),Yichao Du (https://arxiv.org/search/cs?searchtype=author&query=Du,+Y),Longyue Wang (https://arxiv.org/search/cs?searchtype=author&query=Wang,+L),Weihua Luo (https://arxiv.org/search/cs?searchtype=author&query=Luo,+W),Jinsong Su (https://arxiv.org/search/cs?searchtype=author&query=Su,+J),Derek F. Wong (https://arxiv.org/search/cs?searchtype=author&query=Wong,+D+F) 查看 PDF (https://arxiv.org/pdf/2605.15518) > **摘要:** 随着大语言模型(LLM)被滥用的风险日益增加,对其生成内容的有效检测与治理变得愈加关键。尽管现有检测器表现不俗,但在多语言和真实世界场景下的可靠性与潜力仍未得到充分探索。在本研究中,我们引入了 DetectRL-X——一个全面的多语言基准测试,旨在从 8 个维度评估先进检测器。该基准涵盖商业场景中常用的 8 种语言,并收集了 6 个极易受 LLM 滥用影响的领域的人类撰写文本。为了更好地贴合实际应用,我们使用 4 个流行的商业 LLM 生成文本,并纳入典型的 AI 辅助写作操作(如润色、扩写和压缩)以捕捉真实的使用模式。此外,我们开发了一个多语言框架,用于 paraphrasing 和 perturbation 攻击,以模拟多样的人类修改和写作噪声,从而实现对检测器跨语言的压力测试。在 DetectRL-X 上的实验揭示了当前最先进检测器在面对多样化语言资源时的优势与局限。我们进一步分析了领域、生成器、攻击策略、文本长度和精炼操作如何影响不同语言下的性能,突显了 DetectRL-X 作为强化多语言及特定语言检测器的有效基准的价值。 ## 提交历史 来自:Junchao Wu [查看电子邮件 (https://arxiv.org/show-email/1dff1eb9/2605.15518)] **[v1]** 2026年5月15日,星期五,UTC 01:29:26(10,065 KB)
相似文章
AI生成文本检测中语言特征的系统性分析:跨领域与跨模型研究
一项大规模实证研究对284个语言特征在27个大语言模型和10个文本领域中的表现进行了分析,以评估哪些特征能够可靠地检测AI生成文本。研究发现,词汇丰富度指标是跨领域和跨模型最稳健的信号,而许多其他已提出的指标则高度依赖具体上下文。
MD-ProTector:为LLM生成文本检测定位多个数据驱动原型
MD-ProTector是一篇研究论文,提出了一种基于原型的LLM生成文本检测方法,每个类别使用多个可训练参考向量来捕获类内差异,并提高跨领域、生成器、语言和对抗性编辑的鲁棒性。
MELD:用于AI生成文本的多任务均衡学习检测器
本文介绍了MELD,这是一种用于AI生成文本的检测器,它通过使用辅助头进行多任务学习(涵盖生成器家族、攻击类型和源域)来提高鲁棒性。MELD在RAID基准测试中表现出色,并在对抗攻击下保持低误报率。
自生成文本识别 (SGTR):质量启发式、跨任务迁移与LLM评估中的下游偏见
本文研究了大语言模型中的自生成文本识别 (SGTR),揭示了评估设计选择会影响准确性,并且为SGTR的训练可能引入自我偏好偏见,强调了其对AI安全的关键影响。
MultiGhostBench:面向分布偏移的多语言长文本LLM生成文本归因基准
MultiGhostBench是一个多语言基准,用于评估分布偏移下长文本LLM生成文本的归因。它包含六种语言的928本书籍,并突出了性能下降以及没有单一方法在所有设置中始终最佳的现象。