大语言模型中的识别-拒绝错位：为何模型回答结构性无解问题

# 大语言模型中的识别-拒绝错位：模型为何回答结构性不可回答的问题  
来源：https://arxiv.org/html/2608.29109  
西阳（肖恩）胡††感谢：通讯作者。机构：亚利桑那州立大学 邮箱：[xiyanghu@asu\.edu](mailto:)  

###### 摘要  
大型语言模型经常回答结构性不可回答的问题，例如计算 \(\cot(-540^\circ)\) 或判断 `"1".startswith("1")`，而非选择拒绝回答。所有主要论点均针对结构性不可能性；fact800 和 FalseQA 仅作为边界范围测试。我们探究这种失败是源于识别缺失，还是识别到拒绝的路由失败。通过对参数量从 1.7B 到 70B 的指令微调模型进行测试，发现隐藏状态中的单一线性方向可将可回答的数学与代码提示与结构性不可能的提示区分开，表明模型在生成前已表征了不可能性。然而，这一识别方向与调解已训练有害内容拒绝的安全拒绝方向几乎正交。领域内行为定义的无效感知方向与识别方向更接近，但仅部分对齐，且仍与安全拒绝方向近乎正交。沿识别方向进行生成时引导，可对结构性数学与代码单元产生双向且剂量响应性的无效感知行为改变，而随机方向则无此效果。基础/指令模型对比进一步表明，这种低余弦几何结构已存在于预训练终点。因此，对不可能问题的过度自信失败更宜解释为路由失败而非编码失败：模型拥有可用的“无合格答案”信号，但安全拒绝路径并未对齐以使用该信号。  

## 1 引言  
大语言模型有时会回答没有有效答案的问题。在我们的数学/代码基准测试中，\(\cot(-540^\circ)\) 是未定义的，而 `"1".startswith("1")` 会引发属性错误；尽管如此，干净基线生成仍可能返回类似答案的输出，如 \(\cot(-540^\circ)=0\) 或 `True`，而非选择拒绝。  
111代码、数据集、聚合实验产物和分析脚本可在公共项目仓库中获取（https://github.com/yucheng-du/recognition-refusal-misalignment）。  
图 1：线性可获取的生成前信号并不能保证采取行动。结构性不可能的数学和代码提示激活了 \(d_{\text{imp}}\)，但模型仍返回类似答案的输出（示例缩写了实际 math800/code800 提示和有代表性的干净基线失败）。该图总结了安全拒绝的不匹配、部分领域内行为对齐以及因果干预；§4.2（https://arxiv.org/html/2608.29109#S4.SS2）和图 2（https://arxiv.org/html/2608.29109#S4.F2）量化了这种几何结构。  
这种行为有两种可能的解释。模型可能在生成前未能表征不可能性，此时拒绝回答不可用。或者模型表征了不可能性，但该信号可能未被路由到产生拒绝回答的机制中。先前的工作为一种已训练的拒绝机制提供了具体的几何候选：安全拒绝由单个残差流方向 \(d_{\text{ref,safety}}\) 调解（Arditi 等人，2024（https://arxiv.org/html/2608.29109#bib.bib2））。如果结构性不可能性识别重用了现有的安全拒绝路径，那么不可能性识别方向 \(d_{\text{imp}}\) 应与其对齐，即 \(\cos(d_{\text{imp}}, d_{\text{ref,safety}}) \approx 1\)。由于安全拒绝不一定是唯一的拒绝路径，我们还在 §4.2（https://arxiv.org/html/2608.29109#S4.SS2）中测量了一个领域内行为定义的无效感知方向。安全拒绝方向仍是文献中用于已训练拒绝的比较基准。证据支持路由解释。在一个涵盖 1.7B–70B 参数和两个结构性不可能领域（数学和代码；22 个模型-数据集单元）的 11 模型主网格中，一维零空间 MeanDiff 探针以平均 AUC 0.939 将可回答（A）与不可回答（U）提示分开。因此，低容量读取器可以从单个残差流方向中恢复生成前的不可能性区分。然而，该方向与 \(d_{\text{ref,safety}}\) 几乎正交，平均余弦值为 0.087。沿 \(d_{\text{imp}}\) 进行引导，可在锚点质量结构性单元上双向且剂量响应性地改变无效感知行为，信号减随机门控翻转率为 +33 至 +52 个百分点。最后，配对的基础/指令模型对比显示，低余弦几何结构在很大程度上先于指令微调存在。在整篇论文中，“模型知道”是对一个精确表征主张的简写：生成前的隐藏状态包含一个线性可获取的结构性不可能性信号。这并不意味着模型在其正常生成策略中会使用该信号。沿识别方向引导可以改变拒绝行为，但规范的安全拒绝方向并未与其对齐。因此，模型已训练的安全拒绝路径读取的表征轴与携带结构性不可能性识别的轴不同。  
范围是结构性不可能性。数学和代码提示具有可形式化检查的规则，匹配的 A/U 对可能仅在特定可诊断特征上存在差异。在这种分析最清晰的结构性设置中，识别与安全拒绝的近乎正交性，为 Ma 等人（2026）（https://arxiv.org/html/2608.29109#bib.bib1）记录的输出层面不合理的数学失败提供了一种表征层面的解释。我们仅将 fact800 作为认识不可回答性的迁移边界，将 FalseQA 作为错误前提的迁移边界。这些任务类型不应被合并为一个通用的“不可回答”类别：它们的真实值、匹配对构建和干预行为各不相同。  

## 2 问题设置  
三类不可回答性。一个问题可能因不同原因缺乏可接受的答案，而这些原因决定了哪些机制相关。因此，我们区分以下三类，而非将它们合并为单一的“不可回答”类别。  
**结构性不可能性** 是主要场景。提示违反形式规则，因此不存在合格答案：示例包括 \(x \div 0\)、\(x < 0\) 在 \(\mathbb{R}\) 上的 \(\sqrt{x}\)、奇异矩阵的逆，以及 Python 的 `TypeError`。真实值可仅从规则本身验证，匹配的 A/U 对可能仅在形式可诊断的特征上不同。我们使用 math800（16 个类别）和 code800（8 个类别）进行此设置。  
**认识不可回答性** 意味着可能存在正确答案，但提供的证据无法确定它。我们将其操作化为 fact800，即段落匹配的 SQuAD 2.0 对，其中 U 问题的答案在共享段落中缺失。我们仅将 fact800 作为因果和迁移对比（§4.3（https://arxiv.org/html/2608.29109#S4.SS3）、§5（https://arxiv.org/html/2608.29109#S5)），而非核心证据。  
**错误前提问题** 假设了一个错误的事实，例如“为什么 CO₂ 由氧气组成？”。期望的行为是拒绝该前提。我们仅将 FalseQA 作为零样本迁移边界（§5（https://arxiv.org/html/2608.29109#S5)），而非用于干预。  
这三类具有不同的真实值定义、不同的配对构建和不同的行为信号。因此，§4（https://arxiv.org/html/2608.29109#S4) 中的主张应被解读为关于结构性不可能性的主张，除非明确提及 fact800 或 FalseQA。  
**安全拒绝方向**。Arditi 等人（2024）（https://arxiv.org/html/2608.29109#bib.bib2）表明，指令微调大语言模型中的安全拒绝由单个残差流方向 \(d_{\text{ref,safety}} = \mu_{\text{harmful}} - \mu_{\text{harmless}}\) 调解。我们采用相同的 MeanDiff 构建并添加行为验证；22 个主网格单元中有 20 个通过了此验证（§3（https://arxiv.org/html/2608.29109#S3)）。  
**研究问题**。模型是否编码了一个不可能性方向 \(d_{\text{imp}}\)，该方向与 \(d_{\text{ref,safety}}\) 的关系如何？§4（https://arxiv.org/html/2608.29109#S4) 回答四个子问题：\(d_{\text{imp}}\) 是否存在，它与安全拒绝和领域内无效感知行为的关系如何，测量的角度是否由后训练产生，以及 \(d_{\text{imp}}\) 是否对生成行为具有因果活性。  

## 3 方法概述  
**不可能性方向**。在固定层 \(L\) 和类别分层的 50/50 保留 A/U（HO-AU）划分下，我们在训练集 A 状态上拟合 PCA（\(k=100\)），将所有状态投影到该 A 子空间之外的残差空间 \(R\) 中，并估计训练集划分的零空间均值差 \(\hat{d} = \frac{\mu_{U}^{R} - \mu_{A}^{R}}{\lVert \mu_{U}^{R} - \mu_{A}^{R} \rVert}\)，并使用方向不变的 AUC 通过 \(\cos(R(x), \hat{d})\) 对测试状态进行评分，每个单元平均 5 个种子。此 CosNSRT 探针是广义子空间残差得分（GSRS）的一个诊断实例，GSRS 是一个投影-方向-评分模板，也表达了 Arditi 的拒绝方向。早期网格 GSRS 消融显示在图 6（https://arxiv.org/html/2608.29109#A3.F6) 中，激发层选择的遗留层涌现分析见附录 D（https://arxiv.org/html/2608.29109#A4)。  
**安全拒绝与正交性**。遵循 Arditi 等人（2024）（https://arxiv.org/html/2608.29109#bib.bib2），我们在层 \(L\) 使用 50 个有害和 50 个无害提示构建 \(d_{\text{ref,safety}} = \mu_{\text{harmful}} - \mu_{\text{harmless}}\)，随后进行行为验证。我们报告 \(\cos(d_{\text{imp}}, d_{\text{ref,safety}})\)，其中 \(d_{\text{imp}}\) 在 A 零空间中，\(d_{\text{ref,safety}}\) 在全空间中，并附带 bootstrap 95% 置信区间和同空间 A 零控制。  
**引导与门控翻转率**。在层 \(L\)，一个前向钩在 `model.generate` 期间将 \(\alpha \cdot \hat{d}\) 添加到残差流。我们扫描 \(\alpha \in \{5,10,20,40\} \cdot \sigma\) 的正负两个方向，并与随机方向控制进行比较。主要指标是*门控翻转率*：在干净基线与干预前类别匹配的样本上，行为改变的条件概率，使用包含混合输出和退化输出保护的无效感知分类器。高严谨度 v2 网格是 4 个锚点（Mistral-7B-Instruct、Gemma-3-4B-it、Qwen3-14B、Qwen3-8B）× {math800, code800, fact800}；48 个单元的确定性广泛扫描覆盖 16 个模型，提供跨网格检查（附录 J（https://arxiv.org/html/2608.29109#A10)）。数据集（math800 16×50；code800 8×100；fact800 800 个 SQuAD 2.0 对）在附录 A（https://arxiv.org/html/2608.29109#A1) 中记录。  
**标注协议与来源**。v2 网格使用在固定书面标准下为所有干预记录分配的候选标签，通过大语言模型辅助批量审查，由确定性领域特定标注工具和架构/门控验证支持。第二遍大语言模型辅助审查覆盖了标准敏感行和分层样本，第一作者审查了不确定案例；第一作者并未独立审查每一行。对于九个非 Qwen3-8B 单元，聚合 JSON 应用候选标签加临时第二遍审计填充；三个 Qwen3-8B 干预单元使用候选标签透传，无第二遍覆盖。因此，我们将有效标签描述为“大语言模型辅助”而非“人工裁决”。第二遍审查识别出 Mistral 代码 37 个临时候选翻转中的 10 个过度标注，但未改变该单元 +35.4 个百分点的最佳剂量效应；在 Gemma-3-4B fact 的 300 个检查行中识别出 2 个过度严格标注。在 10 个 A→U 下行转变中，9 个的主要原因是混合输出处理，6 个涉及退化，其中 5 个重叠。退化输出保护将 Mistral fact A→U 在 \(\alpha=40\) 时从 +34 个百分点改为 +4 个百分点。门控放宽将 Mistral code U→A 从 14 行门控的 +71 个百分点改为 27 行门控的 +44 个百分点。严格按槽位计数，24 个效应中有 17 个减少，5 个增加，1 个不变，1 个变得不可测量；早期 18/4/2 的总结使用 6 个百分点平坦性约定（附录 J（https://arxiv.org/html/2608.29109#A10)）。排除三个仅候选的 Qwen3-8B 单元后，定性结论不变：Mistral-7B 是双向结构关键点，而 Gemma-3-4B 和 Qwen3-14B 代码在两个方向上仍为正。  
**产物与许可**。代码、原始 math800/code800 数据、聚合产物和分析脚本在 https://github.com/yucheng-du/recognition-refusal-misalignment 以 MIT 条款发布。fact800 保留 SQuAD 2.0 的 CC BY-SA 4.0 条款；发布的 AbstentionBench-GSM8K 子集保留 CC BY-NC 4.0 条款；难度控制的 GSM8K 派生品保留上游 MIT 条款。由于 FalseQA 没有明确的上游许可，我们的产物不重新分发它，而是提供受上游源条款约束的获取和清理脚本。表 1（https://arxiv.org/html/2608.29109#S3.T1) 映射了每个主张与其证据群体和证据角色。  
表 1：按证据层级的主张。群体和指标不在行间汇集；特别是，48 单元广泛扫描使用不可比的确定性指标，不支持每个单元的主张。  

## 4 核心发现  
### 4.1 识别存在  
冻结的大语言模型内部状态是否在生成任何标记之前编码了结构性不可能问题没有答案的信息？先前的工作在输出层面记录了大语言模型经常像处理合理数学问题一样处理不合理的数学问题（Ma 等人，2026（https://arxiv.org/html/2608.29109#bib.bib1））。我们在更窄的、可形式化验证的结构性不可能性设置中直接测试内部主张，使用刻意低容量的探针：一个残差流方向，通过余弦相似度评分，顶部没有学习到的分类器。在 22 单元 11 模型主网格中，单个 A 零空间 MeanDiff 方向以平均 AUC 0.939 将 A 与 U 提示分开，范围为 [0.841, 0.993]。检测不仅限于大模型：SmolLM2-1.7B 在 math800 上达到 0.880；Qwen3-32B 达到 0.993；每个 7B+ 指令模型在 math800 上均超过 0.90。在相同的 MeanDiff 加余弦评分下，A 零空间投影是关键步骤（表 2（https://arxiv.org/html/2608.29109#S4.T2)）。几何解释是，顶部 A 主成分捕获了可回答提示的共同点，如主题、表面形式和句法框架，但不捕获其可回答性。移除该方差暴露了与可回答结构协方差混合在一起的不可能性特定信号。  
表 2：通过一维 MeanDiff 方向在余弦相似度下对结构性不可能性的检测，覆盖 22 单元 11 模型主网格（HO-AU，5 种子平均）。A 零空间投影是关键因素：平均 AUC 0.939（范围 [0.841, 0.993]；SmolLM2-1.7B 0.880，Qwen3-32B 0.993），在 19/22 单元超过 Full，在 21/22 单元超过 Top-kkA-PC。每个单元的值见图。