DWT-Fusion: 一种基于信号的免训练LLM生成文本检测框架

# DWT-Fusion：一种基于信号的免训练LLM生成文本检测框架  
来源：https://arxiv.org/html/2607.22026  

Mehmet Batuhan Özdaş  
通讯作者：[email protected]  
网络空间安全职业院校，安卡拉大学，安卡拉 06830，土耳其  

###### 摘要  

在零样本和免训练条件下检测LLM生成的文本仍然具有挑战性，尤其是当检测器需要跨数据集、领域和未见过的生成器进行泛化时。现有的免训练方法通常利用语言模型统计量作为检测信号，但它们往往通过全局度量来总结整体模型行为，从而刻画文本特征。因此，可能蕴含信息的局部和多尺度token级可预测性变化可能未被充分利用。受此观察启发，我们提出了DWT-Fusion，一种基于信号的免训练框架，通过离散小波分析由代理因果语言模型生成的token级对数概率序列，来检测LLM生成文本。该框架通过基于小波的多分辨率信号表示分析这些序列，并从局部概率动态中提取检测信号。我们还评估了四种免训练投票变体，包括等权硬投票、等权软投票、校准加权硬投票和校准加权软投票，以在不训练监督元分类器的情况下组合多个小波配置。我们使用GPT-Neo-2.7B、GPT-J-6B、Falcon-7B和LLaMA-3-8B作为代理模型，在HC3、M4和MAGE数据集上评估该框架。最佳单小波配置在HC3、M4和MAGE上分别取得0.9872、0.8185和0.7138的AUROC值。通过校准加权投票，最佳集成变体进一步将AUROC提升至0.9919、0.8477和0.7471。这些结果表明，基于DWT的多分辨率评分和校准引导的投票融合为免训练LLM生成文本检测提供了有效且可解释的信号。  

关键词：LLM生成文本检测；免训练检测；离散小波变换；token对数概率；投票集成；零样本检测  

## 1 引言  

大型语言模型（LLM）能够跨广泛领域生成流畅、连贯且上下文合适的文本。随着这些系统日益普及，区分LLM生成文本与人类撰写文本已成为教育、学术诚信、在线信息质量、数字取证和内容审核中的一个重要问题[6 (https://arxiv.org/html/2607.22026#bib.bib1),29 (https://arxiv.org/html/2607.22026#bib.bib2)]。这个检测问题之所以困难，是因为生成文本可能非常接近人类写作，同时还因领域、提示、语言和生成模型的不同而变化。LLM的快速演进以及文本可能由检测器开发时尚未出现的生成器产生，进一步加剧了这一挑战[34 (https://arxiv.org/html/2607.22026#bib.bib3)]。因此，一个有效的检测器不仅应在固定数据集上表现良好，还应提供对任务特定训练数据、源生成器和写作领域依赖性较小的检测信号。  

然而，许多现有检测器将LLM生成文本检测视为有监督分类问题[29 (https://arxiv.org/html/2607.22026#bib.bib2)]。在此设定下，检测器在标注的人类撰写和机器生成样本上训练，通常使用神经编码器、统计特征、学习嵌入或微调的语言模型。当有代表性标注数据可用时，此类方法可以在领域内取得强劲表现。但其性能可能依赖于训练分布、源生成器、写作领域以及可靠标注的可用性。这一局限性催生了零样本和免训练的替代方案，即检测器不学习任务特定的分类器，而是直接从预训练语言模型的行为中提取证据。  

零样本检测器通常使用从代理或源语言模型获得的内在统计量。典型示例包括对数似然、token排名、对数排名、熵、似然-排名比以及基于概率曲率的分数[21 (https://arxiv.org/html/2607.22026#bib.bib15),22 (https://arxiv.org/html/2607.22026#bib.bib16),2 (https://arxiv.org/html/2607.22026#bib.bib11)]。这些方法非常适合零样本检测，因为它们避免了有监督检测器训练，可直接应用于未见过的文本。然而，其中许多方法将token级行为总结为少量全局标量统计量。虽然这种总结高效且可解释，但可能忽略了token级可预测性的序列结构。换句话说，token对数概率的顺序、局部波动和尺度相关变化可能包含未被全局似然或排名平均值充分捕获的信息。  

一个较新的方向将token级模型统计量视为信号而非无序的标量值集合。特别是，基于信号的方法表明，token对数概率序列可以解释为一维信号，并通过分析来捕获模型行为中的序列模式[18 (https://arxiv.org/html/2607.22026#bib.bib14)]。这一视角很重要，因为它保留了token级可预测性值的顺序，而不是立即将其简化为全局平均值。然而，仅保留序列本身并不一定能捕获波动发生的位置、局部程度以及是否出现在不同时间尺度上。因此，主要从全局角度总结序列的信号表示可能对仅出现在文本特定部分或特定尺度的局部变化不敏感。这促使我们需要一种能够同时捕获token可预测性中局部和尺度相关变化的表示。  

在本文中，我们提出了DWT-Fusion，一种基于信号的免训练框架，用于检测LLM生成文本。该框架通过显式建模token级概率波动发生的位置及其在不同时间尺度上的变化方式，解决了全局信号总结的局限性。简而言之，该方法首先从代理因果语言模型中提取token级条件对数概率，并将所得序列视为一维信号。对该信号进行均值中心化以去除全局偏移效应，然后使用离散小波变换（DWT）进行分解。DWT-Fusion不是仅通过全局统计量总结概率信号，也不是在频谱表示上训练分类器，而是将均值中心化信号分解为多个分辨率的近似系数和细节系数，并从所得细节系数中导出标量检测分数。这使得可以从token对数概率信号中的局部多分辨率能量模式导出检测分数。除了单个小波域分数外，我们还评估了基于投票的融合变体，这些变体在保持框架免训练特性的同时组合多个小波配置。这些变体包括等权硬投票、等权软投票、校准加权硬投票和校准加权软投票。该方法不训练有监督分类器、不微调语言模型、不构建参考数据库、也不学习有监督元分类器。  

我们在三个用于LLM生成文本检测的基准数据集上评估所提框架：HC3[8 (https://arxiv.org/html/2607.22026#bib.bib36)]、M4[26 (https://arxiv.org/html/2607.22026#bib.bib32)]和MAGE[16 (https://arxiv.org/html/2607.22026#bib.bib31)]。使用四个代理语言模型提取token对数概率序列：GPT-Neo-2.7B、GPT-J-6B、Falcon-7B和LLaMA-3-8B。我们将提出的基于小波的分数和基于投票的集成变体与多个零样本统计和频谱基线进行比较，包括对数似然、排名、对数排名、熵、LRR和基于DFT的频谱能量基线。结果表明，最佳单小波分数在HC3上与强零样本基线竞争，并在M4和MAGE上取得比所评估统计和频谱基线更高的AUROC。此外，校准加权投票将最佳留出AUROC值分别提升至HC3的0.9919、M4的0.8477和MAGE的0.7471。这些发现表明，token对数概率信号中的局部多分辨率变化为免训练检测提供了互补证据，而校准引导的投票可以在不需要有监督检测器训练的情况下进一步增强阈值无关性能。  

本文的主要贡献总结如下：  

- • 我们提出了DWT-Fusion，一种基于DWT的免训练信号评分框架，利用token级条件对数概率序列进行LLM生成文本检测。  
- • 我们定义了三种可解释的小波域标量分数：第一级细节能量、多级细节能量和窗口能量变异性，以捕获局部和多分辨率概率波动。  
- • 我们引入了校准引导的投票变体，用于组合多个小波配置，包括等权硬投票、等权软投票、校准加权硬投票和校准加权软投票，无需训练有监督元分类器。  
- • 我们在统一协议下，跨三个基准数据集、四个代理语言模型、五个小波族和三个小波域分数定义评估了所提框架。  
- • 我们提供了系统的零样本评估，对比了基于概率、排名、熵、似然-排名比和基于DFT的频谱基线，使所提小波分数和集成变体能够与统计和基于信号的替代方法进行比较。  
- • 我们展示了最佳单小波配置在HC3、M4和MAGE上分别取得0.9872、0.8185和0.7138的留出AUROC，而校准加权投票进一步将这些值提升至0.9919、0.8477和0.7471。  

## 2 相关工作  

在本节中，我们回顾LLM生成文本检测的代表性研究，并根据其方法假设进行组织，包括零样本统计评分、内在信号检测、有监督分类、基于特征的学习、少样本适应以及基于信号处理的方法。这种组织方式使我们能够将DWT-Fusion与传统的基于概率的检测器以及保留token级序列信息的更新方法进行定位。  

基于概率和排名的零样本方法构成了LLM生成文本检测研究的一条重要脉络。Mitchell等人[21 (https://arxiv.org/html/2607.22026#bib.bib15)]提出了DetectGPT，通过比较原始段落与扰动变体的对数概率，并利用模型分布中的概率曲率来检测机器生成文本。Su等人[22 (https://arxiv.org/html/2607.22026#bib.bib16)]提出了DetectLLM，通过LRR和NPR分数利用token排名信息，结合基于似然和基于排名的证据。Bao等人[2 (https://arxiv.org/html/2607.22026#bib.bib11)]提出了Fast-DetectGPT，通过估计条件概率曲率来提高基于曲率的检测效率，避免了DetectGPT中昂贵的扰动过程。Yang等人[33 (https://arxiv.org/html/2607.22026#bib.bib37)]提出了DNA-GPT，一种免训练的基于重生成的方法，截断输入文本，重生成后续内容，并通过差异n-gram分析或概率散度比较原始和重生成部分。这些研究共同表明，概率、排名、曲率和重生成差异信号可以在不训练任务特定检测器的情况下支持零样本检测。  

近期的零样本和免训练检测器探索了似然和排名以外的其他形式的内在证据。Hans等人[10 (https://arxiv.org/html/2607.22026#bib.bib12)]提出了Binoculars，比较来自两个语言模型的困惑度和交叉困惑度，并使用它们的比率作为检测信号。Xu等人[31 (https://arxiv.org/html/2607.22026#bib.bib38)]引入了Lastde，将token概率序列视为时间序列，结合局部多样性-熵统计量与全局似然信息。Ma等人[19 (https://arxiv.org/html/2607.22026#bib.bib34)]提出了NTS，通过观察代理模型概率统计量在不同解码温度下的变化来测量归一化温度敏感性。Wu等人[30 (https://arxiv.org/html/2607.22026#bib.bib18)]引入了GECSCORE，利用输入文本与其语法修正版本之间的相似性作为零样本检测信号。Yang等人[32 (https://arxiv.org/html/2607.22026#bib.bib19)]提出了SILTD，一种基于生成统计量导出的结构信息的无监督结构检测方法。Sun和Lv[23 (https://arxiv.org/html/2607.22026#bib.bib17)]通过将原始文本与基于依赖关系的重排序版本进行比较，考察了文本重排序作为黑盒零样本信号的效果。这些研究表明，免训练检测可以利用多样化的内在信号来构建，包括概率序列统计量、温度敏感性、语法修正、结构信息和文本变换。  

另一条工作线将LLM生成文本检测构建为有监督、微调或基于分类器的问题。Hu等人[13 (https://arxiv.org/html/2607.22026#bib.bib8)]提出了RADAR，通过对抗性学习训练检测器以对抗释义器，从而提高对改写攻击的鲁棒性。Fu等人[7 (https://arxiv.org/html/2607.22026#bib.bib6)]引入了FDLLM用于黑盒LLM指纹识别，专注于源模型特征的识别。Verma等人[25 (https://arxiv.org/html/2607.22026#bib.bib33)]提出了Ghostbuster，从较弱语言模型中提取基于概率的特征，搜索特征组合，并训练分类器来检测由黑盒或未知模型生成的文本。Hao等人[11 (https://arxiv.org/html/2607.22026#bib.bib7)]引入了Learning2Rewrite，微调语言模型以放大人类撰写与LLM生成文本之间的改写差异。Zeng等人[35 (https://arxiv.org/html/2607.22026#bib.bib9)]提出了“人类文本是异常值”，通过基于异常值的学习视角来构建检测。Zheng等人[36 (https://arxiv.org/html/2607.22026#bib.bib10)]引入了LM2OTIFS，通过基于图的表示学习来解决检测问题。  

基于特征的分类器进一步扩展了这条有监督检测路线。Titze和Halvani[24 (https://arxiv.org/html/2607.22026#bib.bib27)]提出了LOG-AID，在应用逻辑回归之前提取基于logit的统计特征，如惊异度、熵、散度和对数排名。Cheng等人[4 (https://arxiv.org/html/2607.22026#bib.bib24)]引入了BISCOPE，使用双向交叉熵统计量来度量模型对前后token上下文的记忆强度。Wang等人[27 (ht