检测议会文本中未披露的LLM生成内容

# 检测议会文本中未披露的大语言模型生成内容  
来源: https://arxiv.org/html/2606.14209  

\nameMinerva Suvantohttps://orcid.org/0009-0003-1751-151Xa, Andrea McGlincheyhttps://orcid.org/0009-0001-8436-237Xb, Peter J\. Barclayhttps://orcid.org/0009-0002-7369-232Xb, Mattias Wahdehttps://orcid.org/0000-0001-6679-637Xa  

###### 摘要  

本文评估了英国和瑞典议会文本中未披露的大语言模型（LLM）生成内容的程度。在许多领域，如新闻或学术写作中，通常有明确要求披露是否使用了AI工具（如LLM）。对于议会文本，AI使用披露的指南较为模糊。然而，为了保持透明度和维护公众信任，通常建议议员在撰写文本（如议会动议）时说明是否使用了AI。本文使用LLM出现前的议会文本和LLM生成的同类文本训练了一个可解释（玻璃箱）文本分类器。然后将该分类器应用于包含近期议会文本的测试集，发现自2022年以来，两国议会中未披露的LLM使用均呈稳步上升趋势。  

###### 关键词：大语言模型；LLM检测；文本分类；可解释AI；议会文本  

††articletype:PREPRINT  

## 1 引言与动机  

大语言模型（LLM）以及相关的对话式AI（如ChatGPT、Gemini、Llama等）的出现，彻底改变了人机交互（HCI），使得基于自然语言指令（提示）生成令人信服且连贯的类人文本变得轻而易举。虽然LLM有许多出色的用途，例如协助人们撰写几乎任何主题的文本，但其使用也存在许多潜在风险和弊端。一些担忧包括：高效生成和传播错误文本（无论是偶然的误导信息还是故意的虚假信息），或传播针对个人或群体（如少数群体）的歧视和偏见文本。无论出于恶意还是无意，此类文本都可能对个人和社会产生有害后果。  

在许多情况下，例如新闻和学术写作，通常要求作者明确说明是否在撰写过程中使用了人工智能（AI）——通常以LLM的形式。例如，一些大众媒体组织和学术期刊的指南规定，应披露AI的使用情况，包括描述如何使用AI以及采用了哪些具体模型。在政治领域（本文主题），同样有强烈建议要求披露AI使用情况，详见第2节 (https://arxiv.org/html/2606.14209#S2) 的讨论。然而，官方发布的议会材料中普遍缺少此类披露，这使得很难评估政治家及其演讲稿撰写人和其他助手在写作中使用AI的程度。议会文本中缺乏AI使用披露（无论有意还是无意）可能会对社会产生负面影响——如果未披露的AI使用一旦曝光，将进一步侵蚀公众对政治家的信任。  

因此，本文研究英国（威斯敏斯特议会）和瑞典（议会）议会陈述中LLM生成文本的频率，采用的检测工具是一个玻璃箱文本分类器（该分类器已在其他研究中得到应用 (Wahde et al., 2024 (https://arxiv.org/html/2606.14209#bib.bib24); Suvanto et al., 2026 (https://arxiv.org/html/2606.14209#bib.bib1); Suvanto and Wahde, 2026 (https://arxiv.org/html/2606.14209#bib.bib2)）。  

LLM的使用是一种新的人机交互形式，在大多数（即使不是全部）环境中已变得无处不在且争议性逐渐降低；我们的目的并非批评LLM本身，而是通过应用一个完全可解释（玻璃箱）文本分类器（而非黑箱神经网络分类器），识别并强调议会中未披露的LLM使用情况。  

本文结构如下：第2节 (https://arxiv.org/html/2606.14209#S2) 讨论了AI在政治使用中的各种伦理问题。第3节 (https://arxiv.org/html/2606.14209#S3) 描述了相关工作。第4节 (https://arxiv.org/html/2606.14209#S4) 说明了数据收集过程以及获取LLM生成数据的方法。第5节 (https://arxiv.org/html/2606.14209#S5) 描述了分类方法。第6节 (https://arxiv.org/html/2606.14209#S6) 给出结果，第7节 (https://arxiv.org/html/2606.14209#S7) 进行讨论，第8节 (https://arxiv.org/html/2606.14209#S8) 给出结论。  

## 2 政治文本中的AI  

AI在政治背景下的使用引起了选民的担忧 (BBC Sound, 2025 (https://arxiv.org/html/2606.14209#bib.bib52))，政治家们已经因在工作中使用基于LLM的工具（如ChatGPT）且未做披露而受到批评 (Min, 2025 (https://arxiv.org/html/2606.14209#bib.bib44))。Pickering等人 (2025 (https://arxiv.org/html/2606.14209#bib.bib4)) 研究了公众对AI用于议会决策的态度，发现近半数的英国受访者不支持议员使用AI助手。在瑞典，SOM研究所的报告 (2026 (https://arxiv.org/html/2606.14209#bib.bib9)) 测量了公众对AI的看法，显示受访者担忧AI生成的误导信息影响民主选举。因此，政治代表使用AI显然对选民而言是一个重要问题。然而，迄今为止，政治家很少披露他们使用了AI工具。  

LLM在政治中的风险包括潜在的误导信息传播或歧视。欧洲广播联盟 (EBU) (2025 (https://arxiv.org/html/2606.14209#bib.bib8)) 的一项调查中，专业记者评估了超过3000个AI生成的回答。近一半的回答至少存在一个显著问题，五分之一的信息准确性存在重大错误。Adams等人 (2023 (https://arxiv.org/html/2606.14209#bib.bib5)) 总结了误导信息在包括政治在内的多个学科中的影响。他们认为，传播误导信息被视为对民主的威胁，因为它可能造成极化或基于不准确信息做出错误决策等负面后果。当然，政治家在不使用AI的情况下也能制造误导信息，但由于LLM已知经常编造事实，并且能够生成具有政治说服力的信息 (Bai et al., 2025 (https://arxiv.org/html/2606.14209#bib.bib6))，因此因疏忽使用LLM而无意中传播误导信息的风险增加，同时恶意行为者传播虚假信息的风险也明显提高。  

LLM的输出在生成文本时还被证明包含针对种族、民族、性别或年龄的微妙（或不那么微妙）的社会偏见 (Taubenfeld et al., 2024 (https://arxiv.org/html/2606.14209#bib.bib39); Wan et al., 2023 (https://arxiv.org/html/2606.14209#bib.bib40))，在生成图像时也有类似情况 (Sami et al., 2023 (https://arxiv.org/html/2606.14209#bib.bib48))，并在语言翻译时表现出来 (Barclay and Sami, 2024 (https://arxiv.org/html/2606.14209#bib.bib49))。放大这些偏见可能导致对某些群体的不公平对待。  

此外，LLM可能带有政治偏见，如Rettenberger等人 (2025 (https://arxiv.org/html/2606.14209#bib.bib7)) 在研究开源语言模型的政治偏见时所展示的那样。由于AI的使用，政治偏见可能以与（假设的）政治家所代表的政党价值观相悖的方式引入生成的文本中。  

最后，事实上，关于AI在政治中使用已有一些指南。例如，各国议会联盟 (IPU) 在其《议会AI指南》 (IPU, 2024c (https://arxiv.org/html/2606.14209#bib.bib10)) 中声明，议会“必须优先考虑透明度和问责制……”，因此应当“标注AI辅助文档，明确所使用的工具和版本”。此外，在《议会AI指南——议员要点》 (IPU, 2024b (https://arxiv.org/html/2606.14209#bib.bib11)) 中，IPU将透明度列为基本原则，即“清晰沟通何时以及如何使用AI”。同时，“支持关于AI使用的透明沟通”被列为议员的关键职责。  

就英国而言，存在《英国政府生成式AI框架》，该框架向（所有）政府雇员建议“明确标示生成式AI被用于创建内容的情况……”并“尽可能标注AI生成的内容……”（UK Parliament, 2024 (https://arxiv.org/html/2606.14209#bib.bib13)）。尽管这些指南通常以建议而非强制要求的形式存在，但它们的存在仍然凸显了在议会文本中披露AI使用的相关性。  

## 3 相关工作  

遭遇LLM生成的文本已变得越来越普遍，但人类评估者很难识别出它们——通常仅能达到随机水平（准确率0.50-0.55）(Suvanto et al., 2026 (https://arxiv.org/html/2606.14209#bib.bib1); McGlinchey and Barclay, 2025 (https://arxiv.org/html/2606.14209#bib.bib33); Clark et al., 2021 (https://arxiv.org/html/2606.14209#bib.bib34))。Richter和Larsson (2026 (https://arxiv.org/html/2606.14209#bib.bib35)) 的结果表明，人类评估者在准确识别人类撰写的文本（准确率0.67）方面略好于识别LLM生成的文本（准确率低至0.32）。然而，人类作者与LLM生成的文本之间通常存在词汇选择和语法上的差异，自动化的LLM检测方法可以利用这些差异 (Suvanto et al., 2026 (https://arxiv.org/html/2606.14209#bib.bib1); Zamaraeva et al., 2025 (https://arxiv.org/html/2606.14209#bib.bib20); Reinhart et al., 2025 (https://arxiv.org/html/2606.14209#bib.bib21); Muñoz-Ortiz et al., 2024 (https://arxiv.org/html/2606.14209#bib.bib36); Zeleke et al., 2025 (https://arxiv.org/html/2606.14209#bib.bib37); Herbold et al., 2023 (https://arxiv.org/html/2606.14209#bib.bib38))。  

Wu等人 (2025 (https://arxiv.org/html/2606.14209#bib.bib17)) 的一篇综述介绍了用于检测LLM生成文本的方法，将现有方法分为 (i) 水印技术、(ii) 基于统计的方法和 (iii) 基于神经网络的方法。水印技术依赖于在模型输出中注入可识别模式，例如通过促进某些词元的使用。文本可以在生成时由模型水印，也可以在生成后通过后处理添加。然后使用各种检测算法检测水印。这种方法依赖于LLM部署者提供水印技术。  

基于统计和基于神经网络的方法则使用直接从文本中提取的模式来检测LLM的使用。基于神经网络的方法通常使用深度神经网络（如预训练LLM）对文本进行端到端检测。  

不当的AI使用指控可能损害被指控者的声誉。例如，错误的AI抄袭指控可能伤害学生或学者的学术生涯 (Giray, 2024 (https://arxiv.org/html/2606.14209#bib.bib14); Dalalah and Dalalah, 2023 (https://arxiv.org/html/2606.14209#bib.bib16))，并造成严重的心理压力 (Gegg-Harrison and Quarterman, 2024 (https://arxiv.org/html/2606.14209#bib.bib15))。Giray (2024 (https://arxiv.org/html/2606.14209#bib.bib14)) 和Gegg-Harrison与Quarterman (2024 (https://arxiv.org/html/2606.14209#bib.bib15)) 还指出，AI检测工具对边缘群体（如第二语言学习者或神经多样性写作者）存在偏见。在这样的高风险场景中，应谨慎使用AI检测工具，并且理解阳性检测结果的*根本原因*至关重要。使用可解释（玻璃箱）模型在这种情况下至关重要 (Rudin, 2019 (https://arxiv.org/html/2606.14209#bib.bib45))，因为其决策过程是透明的。  

Suvanto等人 (2026 (https://arxiv.org/html/2606.14209#bib.bib1)) 在创意写作领域采用了明确可解释的线性分类器。他们的分析揭示了检测任务中的一些突出特征，但另一方面也表明，决策通常基于大量特征的组合，这使得通过进行少量针对性修改来规避阳性检测具有挑战性。  

Quidwai等人 (2023 (https://arxiv.org/html/2606.14209#bib.bib22)) 提出了一种方法，用于衡量（已知的）LLM生成文本与学生撰写考试答案之间的相似度。在该方法中，使用句子对的余弦相似度来衡量整个文档的平均相似度。该方法虽然简单，但获得了高准确率，对随意使用黑箱端到端检测器的做法提出了挑战。  

Hao等人 (2025 (https://arxiv.org/html/2606.14209#bib.bib23)) 探索了一种基于以下发现的方法：LLM倾向于更大幅度地改写人类撰写的文本，而对LLM生成的文本改写幅度较小。在他们的方法中，候选文本与LLM改写版本之间的编辑距离被用作检测依据，编辑距离越大表明文本可能为人类所写。  

检测器的性能因使用方法不同而差异巨大，有些方法报告近乎完美的准确率，而另一些则持续误分类文本。Wu等人 (2025 (https://arxiv.org/html/2606.14209#bib.bib17)) 总结了不同方法的报告指标。除方法选择外，检测器的性能及其可靠性还受其他因素影响。Da Silva Gameiro (2024 (https://arxiv.org/html/2606.14209#bib.bib25)) 指出，设计用于广泛领域的通用检测器性能较差，而针对特定领域的检测器可报告接近完美的准确率。  

可靠检测的另一个考虑因素是测试样本的长度。如Verma等人 (2024 (https://arxiv.org/html/2606.14209#bib.bib41)) 和Wu等人 (2024 (https://arxiv.org/html/2606.14209#bib.bib42)) 所示，分类器的性能随（测试）文本长度的增加而提高，较短的文本更容易被误分类。另一方面，Wu等人 (2024 (https://arxiv.org/html/2606.14209#bib.bib42)) 表明，训练集中较短的文本能产生性能更好的检测器。  

最后，对抗性攻击 (Cheng et al., 2026 (https://arxiv.org/html/2606.14209#bib.bib43); Wu et al., 2025 (https://arxiv.org/html/2606.14209#bib.bib17)) 会对检测器性能产生负面影响，即修改LLM的输出文本以逃避检测。  

遵循NLP研究的常见趋势，许多研究聚焦于基于英语训练的检测器。少数研究考虑了其他特定语言 (Salem et al., 2026 (https://arxiv.org/html/2606.14209#bib.bib