言过其实:量化大语言模型认知-修辞失准的框架

arXiv cs.CL 论文

摘要

提出一套量化框架,揭示 LLM 如何借修辞手段夸大确定性,并发现跨模型的认知-修辞失准共性。

arXiv:2604.19768v1 公告类型:新 摘要:大语言模型(LLM)表现出系统性失准,其修辞强度与认知依据不成比例。本研究验证该假设,提出量化二者脱钩的框架:设计三元认知-修辞标记(ERM)分类法,并通过复合指标落地——形式-意义 divergence(FMD)、真实-表演认知比(GPR)与修辞装置分布熵(RDDE)。将该框架应用于约 60 万词的 225 篇议论文(含人类专家、非专家及 LLM 生成子语料),识别出跨模型一致的 LLM 认知特征:LLM 文本的三列排比(tricolon)频率近专家两倍($\Delta = 0.95$),反问(erotema)则不足人类一半;表演式迟疑标记密度为人类两倍。LLM 文本的 FMD 显著高于两组人类文本($p < 0.001, \Delta = 0.68$),且修辞装置在文档内分布更均匀。结果与 Grice 语用学、关联论及 Brandom 推理主义理论预期一致。标注流程完全自动化,可轻量级筛查 AI 内容的认知失准,也可作为 LLM 文本检测的理论驱动特征集。
查看原文
查看缓存全文

缓存时间: 2026/04/23 10:02

# 言过其实:量化大型语言模型认识-修辞失调的框架  
来源:https://arxiv.org/html/2604.19768  
[![[无题图片]](https://arxiv.org/html/2604.19768v1/x1.png)Asim D\. Bakhshi](https://orcid.org/0000-0002-9516-9153) 巴基斯坦伊斯兰堡国立科技大学 46000 asim\.dilawar@mcs\.edu\.pk  

###### 摘要  

大型语言模型(LLM)表现出系统性校准失当:修辞强度与认识基础不成比例。本文验证该假设,提出一个三元认识-修辞标记(ERM)分类法,并据此设计复合指标:形义偏离度(FMD)、真实-表演认识比(GPR)与修辞装置分布熵(RDDE)。在涵盖约 60 万词元、225 篇论证文本的语料(人类专家、人类非专家、LLM 生成)上,框架发现一致的模型无关 LLM 认识特征:LLM 文本的三联句使用率接近专家两倍(Δ=0.95),而人类使用反问句的频率是 LLM 的两倍以上;LLM 输出的“表演式迟疑”标记密度为人类两倍。LLM 文本的 FMD 显著高于两组人类文本(p<0.001,Δ=0.68),且修辞装置在文档间分布显著更均匀。结果与格赖斯语用学、关联理论及布兰顿推理主义的理论预期一致。标注流程可完全自动化,可作为轻量级 AI 内容认识失调筛查工具,也可作为 LLM 文本检测的理论驱动特征集。  

*关键词* 大型语言模型⋅AI 评估⋅偏见与公平⋅认识不确定性  

## 1 引言  

大型语言模型(LLM)偏见是多层现象,体现在不同语言与社会维度(Gallegos 等,2024;Ranjan 等,2024)。现有文献主要关注三类:涉及社会等级的人口与表征偏见(Blodgett 等,2020)、常被称作“幻觉”的事实错误(Ji 等,2023)以及毒性传播(Bender 等,2021)。这些虽对模型安全至关重要,但仅聚焦语义内容,即 LLM 回应的表层。未被充分检视的是模型如何为其主张定位的结构元认知机制(Erhardt,2025)。在显式内容之下,存在与文本认识-修辞姿态相关的更深层结构偏见(Li 等,2025)。  

该层涉及文本的认识立场,根植于语言情态,反映说话者对命题的承诺度(Fintel & Gillies,2007;Li & Zhang,2025)。认识立场是语言的关键特征,区分既定知识、间接推断与真实不确定性(Lee 等,2025;Li 等,2025)。理性沟通依赖此校准以传递证据可靠性与信息来源。若 LLM 系统性地相对于主张的实际认识状态误标这些标记,就会引入扭曲用户评估与信任的结构性偏见。  

近期修辞分析发现 LLM 生成说服性表层结构,且认识立场标记作为独立 NLP 任务被研究(Clausen,2010;Kramer,2025)。据我们所知,尚无研究将修辞强度与认识校准的关系作为统一可测构念(Erhardt,2025)。此缺口表现为脱节:LLM 无论主张是否值得如此强度,或认识标记是否代表真实不确定还是仅“表演式迟疑”,均部署繁复修辞形式(如三联句、修正、对比重构等)。修辞形式与认识重要性的精确偏离尚未被测量。  

为填补空白,我们提出认识-修辞标记(ERM)分类法,三元框架区分句级修辞装置、认识立场标记与语篇级论证结构。框架通过包含人类专家、非专家与 LLM 写作的语料验证,并基于格赖斯语用学、关联理论与布兰顿推理主义。研究有三项主要贡献:一,提出理论上扎根的 ERM 分类法,整合修辞装置分析与三层语言组织的认识情态分类:句级修辞、词汇-句法立场标记、语篇论证结构;二,引入三个可语料应用的新指标:形义偏离度(FMD)、真实-表演比(GPR)与修辞装置分布熵(RDDE),用于测量论证文本的认识-修辞偏离;三,提供语料级实证验证,显示 LLM 输出偏离系统更高且具独特认识标记特征。这些贡献厘清了 LLM 偏见的新维度,对 AI 文本评估与认识立场的计算研究具有启示。  

## 2 相关工作  

修辞分析、文体计量与认识标记分类发展相对独立,其结构关系未被测量。现有文献分三类。  

### 2.1 LLM 偏见:现有分类及其局限  

LLM 偏见研究主要评估命题内容与表层标识(Gallegos 等,2024;Ranjan 等,2024;Blodgett 等,2020)。早期聚焦人口与表征偏见,将危害分为分配差异与表征伤害(Raj 等,2024;Raza 等,2025)。并行研究处理事实偏见与幻觉(Ji 等,2023;Kenthapadi 等,2024)。亦有大量工作针对毒性与有害输出(Guo 等,2024;Bender 等,2021;McKee & Porter,2020)。这些分类虽关键,但未分析修辞形式与认识立场的结构关系。  

### 2.2 修辞与风格的计算方法  

计算文体学证实个体写作风格是可量化指纹(Neal 等,2017)。文体计量用 Burrows’ Delta 度量高频词分布,提供与内容无关的作者签名(Burrows,2002;Jannidis 等,2015)。该传统近期用于借助词汇-句法特征区分人类与 LLM 文本(Agrahari 等,2025;Bisztray 等,2026;Kumarage & Liu,2023;Zaitsu 等,2025)。计算修辞分析通过修辞结构理论与自动检测复杂修辞格映射语篇结构(Majdik & Graham,2024;Erhardt,2025)。这些文体工具近期用于 AI 文本检测,发现 LLM 文本词汇多样性降低、结构一致性增加(Aityan 等,2026;Al-Shaibani & Ahmed,2026)。  

### 2.3 NLP 中的认识情态与立场  

计算对冲检测为识别不确定性表达奠定基础,尤其在科学文献(Clausen,2010;Medlock & Briscoe,2007)。对冲线索被证明为高精度不确定标记,但领域依赖性强(Szarvas,2008;Li & Zhang,2025)。在 LLM 语境,认识立场分类演进为诚实对齐研究,训练模型明确表达置信度(Clark 等,2025;Lee 等,2025;Tao 等,2025)。尚无工作将这些标记与周围文本的修辞繁复度关联,亦未将“表演式迟疑”与真实认识标记功能区分。  

## 3 理论框架  

### 3.1 基础前提  

我们假设修辞形式与认识基础的脱节是可测文本属性。格赖斯语用学、关联理论与布兰顿推理主义为为何该关系受规范约束及其破坏会留下可恢复结构信号提供统一解释。  

#### 3.1.1 格赖斯合作原则  

格赖斯语用学认为说话者应遵守数量、质量、关系与方式隐涵准则(Grice,1975)。数量与质量准则共同建立规范预期:断言的“重量”(自信与繁复度)应与说话者实际认识位置成比例。修辞繁复但证据单薄的主张违反使断言成为合作行为的规范结构。比较:  

> (1)“一些研究表明,睡眠剥夺可能损害陈述性记忆巩固。”  
> (2)“毫无疑问,睡眠剥夺损害注意力、破坏巩固,并摧毁大脑在各认知领域保留所学的能力,其后果堪称深远。”  

(1) 用情态 hedge“可能”、证据限制“一些研究表明”与领域限定“陈述性记忆”,修辞重量与认识位置匹配。(2) 用三联句、绝对断言“毫无疑问”与夸张“堪称深远”,修辞重量远超任何证据许可。读者被误导的不是内容,而是断言形式。  

#### 3.1.2 关联理论  

关联理论将格赖斯直觉奠基于认知理解账户(Wilson & Sperber,2002)。它提出交际行为受最佳关联预设:当说话者产出需解释努力的语句时,该努力对应比例认知效果。修辞装置如三联句或夸张给读者施加结构复杂度。关联理论预测,仅当内容值得时才许可此成本。LLM 生成政策报告示例:  

> (3)“从招聘到医疗,从信用评分到刑事司法,从内容审核到教育评估,全谱部署场景中,算法系统提出深刻、多维度且深度交织的公平问题。”  

读者需追踪六项枚举、解析三并列介词短语,并整合“深刻、多维度、深度交织”的含义。而该句仅传递“算法系统引发公平问题”这一读者已接受的命题,认知收益近乎零,与处理成本之差距可计算。  

#### 3.1.3 布兰顿推理主义  

布兰顿将说话者断言视为承担社会规范承诺(Brandom,1994,1997)。承诺强度受说话者实际“权利”规范约束。当断言强度超过支撑权利时(如例2),读者被许可将过度主张作为后续推理的前提,得出效应量大、证据确凿、主张普遍等结论。说话者将认识赤字传播至其无需负责的推理链。正是这种下游责任赋予形义脱节规范权重,并激励将该偏离度作为检测工具。

相似文章

一种更优的识别大语言模型过度自信的方法

MIT News — Artificial Intelligence

MIT研究人员开发了一种新方法,通过衡量相似模型间的跨模型分歧来识别过度自信的LLM,而非仅依赖自洽性指标。该方法能更好地捕捉认知不确定性,并在高风险应用中更准确地识别出不可靠的预测。

大语言模型对其自身回应过度自信

Hugging Face Daily Papers

本文探究为何经过指令微调的大语言模型对其自身回应表现出过度自信,并识别出一种“所有权偏差”,即模型对自我生成的答案赋予更高置信度。文章提出一种简单的推理时策略,将模型答案重新表述为用户输入,无需重新训练即可将校准度提升高达26%。

当正确信念崩溃时:临床压力下LLMs的认知韧性

arXiv cs.AI

本文研究了大型语言模型在临床环境中面对对抗性压力时如何维持正确信念,提出了R-FT微调方法以在平衡可纠正性的同时提升认知韧性,并在医学基准测试中展示了显著的鲁棒性提升。