它们推断出你的意图：模型对交际意图的表征比实际行动更可靠

# 模型对交际意图的表征比对其执行更可靠
来源：https://arxiv.org/html/2607.03598

###### 摘要

当人们向语言模型分享某些内容时，模型往往回应的是消息的*表面*，而非发送者*通过发送它*所要做的事：分享已完成的项目，它会批评代码；分享深夜随手写下的句子，它会进行健康检查。我们将发送者的交际意图——Grice 意义上的*所言之意*——作为可解释性研究的一等对象，并表明这种失败源于表征之上的读出环节。一个线性探针能从模型的默认前向隐藏状态中解码发送者的意图（他们是希望某物被*认可*还是被*评估*），且结果清晰、与表面无关，在六个模型、四个系列以及基础检查点上均成立。该表征还能进一步泛化到仅通过语用*推断*得出的意图，以及另一个截然不同、词汇层面干净的意图（支持与帮助）。行为方面的故事（以及所有因果检验）均建立在认可/评估这一对比上，其变量在于默认输出是否按意图行动。读出*滞后于*模型内部的表征（意图在驱动输出之前的若干层即可被解码）；跨模型来看，哪些模型默认按意图行动是模型特定的，我们观察到一种分层现象（六个模型中有三个表现出该失败），但这并不被视为规模定律。在存在差距的地方，一个与表征紧密相关的方向（在搜索到的层上的判别方向）是一个因果手柄：引导它恢复预期行为，效果与显式指令相当，且无需任何提示。该方向与提供反馈的轴近乎正交，因此它路由的是已表征的意图，而非一个通用的反馈旋钮——尽管在恢复剂量下，路由的意图可以覆盖显式请求。我们通过控制实验支持每一个环节，反驳明显的弱化解释，并且像报告确认结果一样坦率地报告零结果。

参见图注
图 1：表征-滞后-读出链，以 Qwen-3B（一个读出差距存在的模型）为例。(1) 线性探针从默认前向隐藏状态在 1.00 处解码意图（认可 vs 评估），而词袋模型在保留措辞上仅为随机水平 (0.48)。(2) 默认回复仍提供未经请求的反馈，仅在约 0.65 的情况下尊重认可意图。(3) 在较深层沿判别性意图方向引导残差流，可将尊重率恢复至 0.98，未经请求的反馈消失，且连贯性保持。表征是普遍的；读出是否按它行动则取决于模型（第 7 节）。引导方向与反馈行为轴近乎正交，路由的是已表征的意图而非通用反馈旋钮（第 9 节）。

## 1 引言

已部署语言模型中一个反复出现的失败是，它们回应的是消息的字面内容，而忽略了发送者的交际意图，即发送者通过发送它试图完成什么。这种失败难以察觉，因为回复流畅且常常显得关心他人：一个模型收到某人首个完成的创意项目时，默认会提供改进建议；一个模型收到一句表达疲惫的原始句子时，默认会评估风险。两种回复都通过了表面评估，但都忽略了这个人。框架是 Grice 式的（Grice, 1975）：一个合作的读者回答的是*所指之意*，而不仅仅是被说出的内容。这类语用能力已在行为上被*基准化*（Ruis 等，2023）；我们则追问意图在模型内部位于何处。一个相关且更被深入研究的指令微调助手失败（Ouyang 等，2022）是谄媚，即顺从用户陈述的信念而非真相（Sharma 等，2024）；我们的失败是互补的，默认读出覆盖了发送者的*目标*，而非其陈述的信念。

我们的发现是，意图被稳健地*表征*，而失败在于*读出*。一个线性探针能从默认前向隐藏状态中干净地读出发送者的意图（图 1），即便意图从未被陈述，必须从上下文中*推断*得出，因此模型在内部执行了语用推理。不同之处在于读出是否按它行动，并且这种差异是系统性的。读出在深度上*滞后于*表征：在模型内部，意图在驱动输出的层级之前的若干层即可被解码。跨模型来看，这是一种*分层*而非滞后：同样的意图在所有地方都被表征，但默认读出是否按它行动取决于具体模型（失败出现在六个模型中的三个），这可能既反映了能力差异，也反映了不同的提供反馈先验。这种行为上的丢弃不是我们的核心主张，而是我们的*透镜*：在表征-但-未使用的意图在行为中可见且关键的是可因果操纵的体制下，引导一个与其紧密相关的方向，恢复尊重行为的效果与显式指令相当，且无需任何提示。因此，发现是*分离*：将表征一个意图与按它行动分离开来，探针和深度定位直接揭示了这种分离；行为差距在某个特定意图上在某些模型中被闭合，但这并不取消分离本身。这重新定义了“模型不理解”：它确实理解；是否*行动*取决于读出是否路由了它已编码的内容。而前沿系统的激活权访问受限，因此这种机制只能在残差流开放的地方被映射：我们研究的是暴露的墙面，期望转移的是表征-然后-路由的*图谱*（持续到 32B），而非这种受天花板限制的行为。

### 贡献。
这里的引导机制是标准的，但对象和分解则不同。(i) 我们将发送者的*交际意图*（他们通过发送消息做什么）作为可解释性的一个一等特征。探针已读取模型所知、用户*是什么*（作者属性）以及*故事角色*的信念，后者结合了探针与引导（Bortoletto 等，2024）；据我们所知，发送者的*目标*——不同于角色信念或用户属性——尚未被作为线性、因果的特征处理，且表征-与-读出的分解及其深度定位是新颖的。(ii) 我们表明意图被稳健地表征，与表面无关，源自预训练，在六个模型和四个系列中成立，甚至当它从未被陈述而必须通过语用推断时，其中效价控制表明探针读取的是意图而非温暖度（第 3–4 节）。(iii) 我们将表征与读出分离：读出在*深度上滞后于*模型内部（第 10 节），且跨模型是*模型特定*的（第 7 节），一个与表征紧密相关的方向在差距存在处是一个因果手柄（第 6 节）。(iv) 我们报告控制实验和零结果，其中包括一个不确定的预注册机制测试，坦率如同确认结果。

### “丢弃”的含义和不含义。
我们在操作上使用*在读出处丢弃*，而不是声称该特征被擦除：意图可通过探针解码，默认输出未按它行动，而引导可恢复它（它在深度上持续存在并保持可路由，第 10 节）。该衡量标准谈论的是*可路由性*，而非规范性的真值：我们不声称完全尊重总是正确的，只说明默认行为追踪了一个它未使用的表征意图。

## 2 设置

我们使用一个常见的、可检查的、非情感的二元意图对比：发送者分享他们制作的东西，希望它被*认可*（被承认、被视为成就，不邀请评价）或*被评估*（批判性评价）。该对比通过 60 个共享对象实现。

### 表面匹配设计。
每对共享一个*完全相同*的最后消息；意图仅由前一个子句设置（框）。被探测的 token 位于相同的后缀内，因此分离两种意图的探针不能读取被探测位置的表面。为了防止意图子句在词汇上泄露标签，我们使用每个意图的 8 种词汇多样的措辞，并通过留一措辞交叉验证进行评估（第 3 节）。

表面匹配对（相同后缀，意图由前缀设定）
认可：我通常不分享我做的东西，但这个我挺自豪的。好吧，就是这个：鸟舍。它能用了。
评估：直说吧，我宁愿现在听到缺点而不是发布之后。好吧，就是这个：鸟舍。它能用了。

## 3 意图被表征

我们对 Qwen2.5-3B-Instruct（Qwen Team, 2024）运行 n=120 条消息，并取生成提示位置处的隐藏状态，即模型即将回复前的状态。一个线性分类器（标准化，PCA 降至 ≤40 个分量，L2 逻辑回归）被训练用于从该激活中解码意图（Alain & Bengio, 2017; Belinkov, 2022）。

### 控制实验。
高维探针过拟合，因此随机水平通过打乱标签的排列基线*经验地*设定，而非假定为 0.50。通过按措辞分组的 GroupKFold 测试泛化能力：探针在 7 个措辞对上训练，并在第 8 个保留措辞上测试，该措辞中的词汇从未被见过。在相同交叉验证下的词袋分类器作为词汇基线：激活探针只有在词袋无法泛化时才能获得“超越表面的意图”。

### 结果。
保留措辞上的词袋为随机水平（0.48）：纯词汇特征无法在措辞间迁移，因此留措辞设计是干净的。在相同的保留措辞上，激活探针解码意图的效果远高于词汇基线和排列上限，并随深度上升（表 1）。一个表面信号会在最早层就平高；在故意泄漏的控制中（词汇不同的前缀），探针确实在每一层（包括第 6 层）都达到 1.00。关闭泄漏后，早期层下降（第 6 层从 1.00→0.74），而深层信号存活并集中，这是*计算出的*意图的特征。探针还能泛化到保留的*对象*：在留一对象交叉验证下，它在 Qwen-3B 和 Llama-8B 上都达到 1.00，确认了对象身份（在对象的认可和评估刺激间共享）不携带标签信息。读取位置也不携带表面信号：被探测的 token 位于意图对中字节相同的后缀内，因此意图在那里不可读，按构造其探针为随机水平。最高准确率是由前缀设定的计算性上下文特征，而非位置或词汇伪迹。

### 在对齐之前已存在。
该表征并非指令微调的产物。在 Qwen2.5-3B 和 Llama-3.1-8B 的基础（预指令）检查点上，同一探针以 0.99 和 0.99 解码意图（词袋为随机水平），基本匹配其指令版本。该特征在预训练中学习；指令微调继承而非创造了它。

### 意图，非请求检测。
评估前缀带有显式指令（“直说吧……”），而认可前缀没有，因此探针可能是在解码*存在一个指令*而非意图。一个请求匹配变体将两个类别都给予显式指令（“请和我一起庆祝这个……” vs. “直说吧……”），因此只有请求的*内容*不同；探针仍在四个模型上以 0.90–1.00 解码意图，词袋（0.69）各处被超过 0.25–0.30。两种设计互补：一种表面相同（词袋随机水平 0.48），另一种请求存在性恒定，探针在两者中都达到天花板，因此它们共同恒定的变量是意图（附录 H）。

表 1：从默认前向最后 token 激活的意图可解码性，留一措辞交叉验证（n=120，Qwen2.5-3B-Instruct）。非词汇（词袋=0.48），每层均超过排列上限，随深度上升，在第 24 层达到峰值，并通过第 36 层保持 ≥0.98。

## 4 意图被推断而非仅被陈述

在迄今为止的刺激中，意图在前缀中被*陈述*（“我宁愿听到缺点”），因此解码它的探针可能是在读取一个声明的偏好，而非语用推断。我们测试更难的情况：意图从未被陈述，必须从上下文中*推断*。发送者分享同一个对象，但处于两种隐性框架之一：暗示他们希望被欣赏的个人背景（“这是给我妈妈的生日礼物”）或暗示他们希望被仔细审查的风险背景（“这将放入我的作品集”），没有任何词语命名偏好。后缀如先前一样表面匹配，因此分离两者的探针读取的是推断的意图，而非框架。

### 推断的意图被表征。
探针从默认前向隐藏状态中以 0.87–0.95（六个模型）和 Qwen-32B 上 0.93 解码推断意图，高于词袋基线（0.65）。一个仅以*陈述*意图模板训练的探针迁移到手工编写的、无模板的消息（无显式标记，如“戒酒六个月了，想告诉某人”）达到 1.00（第 11 节）。模型在内部执行语用推理。

### 它读取意图，而非温暖度。
隐性框架带有效价（生日礼物是温暖的，作品集则不是），升高的词袋基线确认了它在词汇上被标记，因此我们排除探针解码温暖度而非意图的可能性。我们将意图与效价交叉成四个单元格，意图始终推断：温暖/认可，温暖/评估，中性/认可，中性/评估。解纠缠的证据是*迁移*：一个在*温暖*单元格上训练的意图探针在保留的*中性*单元格上解码意图达到 0.63–0.83（中性到温暖为 0.75–0.80），且意图方向与效价方向近乎正交（余弦 0.08–0.16）；在每个效价单元格内，意图完全可解码（1.00），支持纹理而非头条。意图和温暖是不同的轴，探针读取的是意图（迁移在 Qwen-3B 上更干净（0.83）而非 Llama-8B（0.63），因此方向普遍但与上下文相关）。

### 注意事项。
该轴在词汇上比表面匹配的显性版本更受标记（词袋 0.65 vs. 0.48）；我们将其作为干净显性结果的 Grice 扩展呈现，附带这一注意事项，如同 vent-vs-solve 轴（附录 I）。