缺失的「我不知道」：三项推理-可靠性研究为何共同指向校准弃权

# 缺失的“我不知道”：三项推理可靠性研究为何汇聚于校准弃权
来源：https://arxiv.org/html/2609.17686
Srijith Ravikumar††注：本研究独立于作者在亚马逊的职务，研究过程未使用亚马逊的专有数据、系统或资源。文中观点仅代表作者个人。

###### 摘要

三项近期研究结果揭示了看似无关的大语言模型可靠性问题。Yin等人（2026年）(https://arxiv.org/html/2609.17686#bib.bib32)表明推理强化学习会破坏工具可靠性的内部表征。Suleymanov等人（2026年）(https://arxiv.org/html/2609.17686#bib.bib27)发现，在安全约束生成条件下，大型模型会重写敏感文本段，而小型模型则直接截断。Bastounis等人（2024年）(https://arxiv.org/html/2609.17686#bib.bib1)证明：任何在复述等价句上保持一致性推理的系统，若缺乏隐含的“我不知道”机制，必然会在广泛问题类别中产生无限次幻觉。我们认为这些发现指向同一解决方案：校准弃权正是各自独立识别出的缺失能力——尽管它们记录的能力不可用性（能力缺口、策略缺口、递归理论缺口）在每种情况中来源不同。诚实性后训练虽已缩小已部署模型的差距，但要系统性弥合Bastounis所识别的缺口类别，则需要隐含的“我不知道”函数。而用于筛选其实际对应机制的基准测试信号目前缺失：主流基准测试对拒绝回答赋予零奖励，因此在模型发布排名体系中，能够引导该机制发展的基准梯度根本不存在。我们提出四项评估改进方案：三重评分法、弃权率报告、能力分层评估，以及必须纳入校准指标（ECE、Brier指数）。基准测试改革是弥合该理论缺口的必要非充分条件。

## 1引言

过去两年的三项研究结果揭示了三个看似不同的问题。Yin等人（2026年）(https://arxiv.org/html/2609.17686#bib.bib32)证明：针对推理的强化学习会破坏控制工具可靠性的内部表征，导致智能体调用明知不可用的工具。Suleymanov等人（2026年）(https://arxiv.org/html/2609.17686#bib.bib27)发现：当智能体循环将输出限制于敏感内容之外时，大型模型会将受影响文本段重写为更具分寸的替代内容，而小型模型则直接截断文本至无法使用的程度。Bastounis等人（2024年）(https://arxiv.org/html/2609.17686#bib.bib1)通过形式化证明：任何在复述等价句上保持一致性推理的系统，若缺乏隐含的“我不知道”函数，必然会在包含基本算术在内的广泛问题类别中产生无限次幻觉。

我们主张这些发现汇聚于同一解决方案。它们各自记录的能力不可用性来源不同——能力缺口（Yin）、策略缺口（Suleymanov）以及与来源无关的递归理论缺口（Bastounis）——但每种情况下的失效模式都源于同一问题：当缺乏校准弃权能力的系统被迫在不应承诺的输入上做出承诺时会发生什么。Yin和Suleymanov的研究并非Bastounis定理的实例，而是独立的经验场景，其失效模式最适合用该定理识别出的同一构建方式来解决。我们将这三项研究视为校准弃权的汇聚性证据，而非单一结构现象的实例，并在第3节(https://arxiv.org/html/2609.17686#S3)论证这种汇聚产生了领域尚未应对的政策影响。该解读自提出之日起就具有可辩驳性：若某种机制层面的干预（无需弃权或采用选择性预测构建）能同时解决所有三种失效模式，则该解读不成立。第3节(https://arxiv.org/html/2609.17686#S3)精确表述了这一条件。

这一问题至关重要，因为大多数关于可靠性的研究都将其视为调优问题。更好的强化学习目标函数、更优的提示策略、更完善的对齐技术。诚实性后训练虽已缩小已部署模型的差距，但该定理从根本上排除了任何缺乏隐含“我不知道”函数的一致性推理系统实现闭合的可能性，而当前训练流程并未在定理要求的结构层面计算该函数。一系列弃权机制专项研究（Kamath等人，2020年(https://arxiv.org/html/2609.17686#bib.bib15)；Wen等人，2025年(https://arxiv.org/html/2609.17686#bib.bib30)；Kirichenko等人，2025年(https://arxiv.org/html/2609.17686#bib.bib16)）已开发出相关机制，但尚未推动主导性基准测试排行榜的改革——而这正是筛选模型发布的关键环节。定理要求闭合所需的是隐含的“我不知道”函数，但其实际对应机制的选择信号目前处于反向状态。

由此得出两个结论：第一，三项研究汇聚于校准弃权这一合理解决方案，而此前的分散处理掩盖了这种汇聚性；第二，基准测试改革对于弥合定理所识别的推理可靠性缺口是必要条件（虽非充分条件）。诚实性后训练可部分替代缺失的信号，但系统性闭合要求基准测试停止对拒绝回答赋予零奖励。我们提出跨正确、错误与弃权结果的三重评分法、弃权率报告、能力分层评估，以及与准确率并行的校准指标（ECE、Brier指数）。

## 2三项研究发现

### 2.1推理强化学习破坏工具可靠性表征

Yin等人（2026年）(https://arxiv.org/html/2609.17686#bib.bib32)构建了SimpleToolHalluBench基准，测试两种弃权应为正确行为的失效模式：无可用工具的查询，以及仅存在干扰工具的查询。

他们发现：针对推理的强化学习会加剧工具幻觉，且这种加剧与奖励信号增益存在系统性关联。即使强化学习训练集不含任何工具，该效应依然存在——GSM8K数学微调会增加模型在从未训练过的工具基准上的幻觉率。该效应在GRPO式结果中心强化学习以及仅在推理时通过提示切换激发推理的设置中均有体现。机制源于表征坍缩：工具可靠性路径在早期与中间层失稳，而通用推理路径保持稳定，激活探针将由此产生的误差定位为集中在后期层残差流中的发散。缓解措施效果不佳：提示指令仅带来边际收益；DPO通过牺牲实用性来降低幻觉。作者称这是尚无已知解决方案的可靠性-能力权衡。

### 2.2安全约束生成产生与模型规模相关的失效模式

Suleymanov等人（2026年）(https://arxiv.org/html/2609.17686#bib.bib27)研究智能体自我修正循环（SemSIEdit）标记并重写包含敏感推理的文本段时会发生什么。在13个模型上，他们记录了重写与截断的分化现象。GPT-5通过建设性扩展进行响应，将平均答案长度增加110个字符（Suleymanov等人在GPT-5条件下的核心数据），将标记文本段重写为更具分寸的替代内容，同时保持8.58/10的实用性。中小型模型则通过破坏性截断响应，在所报告的小型模型条件下将长度减少50-73%。两种策略都能降低信息泄露，但只有前者保持了实用性。作者认为编辑角色需要最低推理阈值，低于该阈值时智能体会退化为拒绝响应。这种双峰性在核心层面呈现；我们引用其核心数据，但不超出源论文本身的限定进行显著性推断。

第二个发现逆转了方向：在Qwen3-8B上开启思维链且不启用防御机制时，泄露率从74%升至84%（按报告的单次运行点估计）：推理使模型能将良性事实连接为敏感推理。在启用SemSIEdit的同一模型上，报告数据与符号反转一致，泄露率降至42%，低于不启用推理时的47%（单次运行点估计）。在无约束条件下放大失效模式的能力，正是约束条件下驱动重写的能力。

### 2.3无弃权的一致性推理被证明不可靠

Bastounis等人（2024年）(https://arxiv.org/html/2609.17686#bib.bib1)证明了“一致性推理悖论”。在他们的形式化定义中，一致性推理是可作为图灵机实现的系统的属性：对某任务的正确性可传播至该任务所有可计算枚举的复述等价句（“告诉我时间！”与“现在几点？”）。该定理确立：任何始终作答的系统必然在特定问题类别（包含基本算术）上产生无限次幻觉。他们识别的突破口是隐含的“我不知道”函数：一种部分可计算的拒绝机制，在一致性推理会强制编造的输入子集上触发。他们强调了这一需求：构建可信赖的AI（即永不出错且保持推理一致性），“只能通过隐式计算...‘我不知道’函数”来实现，而计算该函数需要放弃参数而非预先固定的边界。他们未声称实际的校准弃权（如带softmax阈值的拒绝头、共形选择层（Quach等人，2024年(https://arxiv.org/html/2609.17686#bib.bib23)）、或Kadavath式P(True)自评估器（Kadavath等人，2022年(https://arxiv.org/html/2609.17686#bib.bib13)）能实例化该递归理论对象。我们将“我不知道”函数视为缺失的基准梯度应筛选的目标，并援引该定理作为汇聚性失效模式的来源，而非直接应用于大语言模型推理——因为我们不主张当前模型达到了定理假设的一致性属性。

三篇论文各自独立：Yin的研究是机制性实证研究，Suleymanov的是行为学研究，Bastounis的是可计算性理论定理。单独来看，它们解释不同现象。我们将在第3节(https://arxiv.org/html/2609.17686#S3)论证它们汇聚于同一解决方案。

## 3汇聚性证据

三项研究发现汇聚于同一解决方案。每项研究都记录了缺乏校准弃权的系统被迫在不应承诺的输入上做出承诺时会发生什么，但“不应承诺”的来源在三者间各不相同。Yin记录了能力缺口：模型缺乏工具、推导路径或事实，而结果奖励强化学习已对唯一诚实的响应进行了逆向选择。Suleymanov记录了策略缺口：周围的智能体循环将自然补全标记为敏感，迫使模型生成其他内容替代。Bastounis证明了递归理论层面的必然性：即使理想化的一致性推理系统，在“我不知道”函数本应触发的输入上也必然产生无限次幻觉。三种不同的不可用性，三种不同的经验领域，一个共同的补救措施：定理识别为逃离其不可能性结果的弃权构建。该文献中有四种不同构建以弃权之名出现，而我们提出的改革仅对其中一种进行评分。表1(https://arxiv.org/html/2609.17686#S3.T1)将其区分，并在全文中保持这种区分。

我们刻意使用“汇聚性证据”而非“单一现象”或“单一结构性质”。该定理适用于在可计算复述类别上实现递归理论一致性的系统；而GRPO基于相同提示的多轮结果奖励进行选择，通常不具备该属性。更简单的主张已足够：无弃权奖励的结果奖励强化学习在整个训练分布上逆向选择拒绝回答，因此模型被优化为在不应承诺的输入上做出承诺，而定理识别的“我不知道”构建正是系统性弥合该缺口的关键。这种汇聚发生在缺失能力的层面，而非各系统实现的正式属性层面。该解读具有可辩驳性，我们明确其反证条件：若某种机制层面的干预（无需弃权或采用选择性预测构建）能同时解决Yin的工具幻觉、Suleymanov的约束下截断以及Kirichenko等人（2025年）(https://arxiv.org/html/2609.17686#bib.bib16)测量的推理诱发弃权退化这三种失效模式，则该汇聚性解读被推翻。Bastounis的结果是定理，无法通过实证闭合，因此第三个目标是其可测量表现而非形式化结果。

表1：本文区分的四种构建。仅第二种被第5节(https://arxiv.org/html/2609.17686#S5)的提案评分：第一种是定理的形式对象，不可直接测量；第三种属于安全评估范畴，若纳入能力评估将造成干扰；第四种使改革局限于离散答案。该框架无需机械援引定理即可涵盖Yin的研究。基于结果奖励的推理强化学习相对于连贯承诺会逆向选择部分回答和诚实失败。在GSM8K上运行训练仍会加剧工具幻觉，因为强化学习教授的并非工具使用策略，而是始终生成数值输出的策略。当评估分布转移至正确响应应为拒绝的查询时，该策略仍会泛化。后期层残差发散是模型在不应生成数值输出的场景中生成数值输出的激活空间特征。Kirichenko等人（2025年）(https://arxiv.org/html/2609.17686#bib.bib16)构建了跨20个数据集的弃权专项基准，报告推理微调平均使弃权能力下降24%（其核心数据，基于对比的两个推理与非推理模型对的平均值），包括在推理模型明确训练过的领域。经验模式与定理要求一致：缺乏“我不知道”函数的系统会在拒绝回答为正确策略时做出承诺。无论精确机制是递归理论一致性强制，还是更简单的拒绝逆向选择，提出的补救措施都是相同的。

这解决了Kirichenko与Suleymanov研究间的表面矛盾。在Kirichenko的设置中，扩展的测试时计算会加剧弃权退化，因为模型利用额外词元制造缺失上下文。在Suleymanov的设置中，扩展计算支持建设性重写。推理能力具有双重用途：其对可靠性的影响取决于周围循环是奖励诚实拒绝还是强制确定性输出。两者差异在于循环结构而非推理能力。

Suleymanov从反方向验证了相同汇聚性，并揭示了随能力变化的因素。SemSIEdit创建了模型自然补全被标记为敏感的区域。模型必须在这些区域生成内容，其生成内容取决于它是否能在每个标记点计算局部“我不知道，但我仍能说这些内容”的构建。