按我说的做，不是按我做的做：LLM中的指令-归纳冲突

# 照我说的做，而非照我做的做：大语言模型中的指令-归纳冲突

来源：https://arxiv.org/html/2605.20382

Carolina Camassa  
Future Impact Group  

&Derek Shiller  
Rethink Priorities  

通讯作者：carolina\.camassa@gmail\.com。  
本研究是在Future Impact Group奖学金期间完成的。论文中的结论仅代表作者个人观点。

---

###### 摘要

语言模型经过训练能够遵循指令，但同时它们也是强大的模式补全器。当这两个目标发生冲突时会发生什么？我们构建了这样的对话场景：用户要求以目标行为T（例如，始终输出特定令牌、用特定语言回答或采用特定角色）行事的指令，与N个硬编码的助手轮次所展示的竞争模式P相对抗。我们在此设定下，对13个模型和16种不同指令，测量了最多50轮中的指令遵循（IF）率。模型间的平均指令遵循率从1%到99%不等，且与标准能力基准大致不相关。从指令遵循到模式遵循的转变是普遍存在的，但高度依赖于模型。鲁棒性既受指令内容调节（当指令与其训练价值先验一致时，模型抵抗归纳的时间更长），也受输出格式影响（多样化的多令牌响应比单令牌输出明显更具抵抗力）。思维链推理能提高鲁棒性，但无法消除易感性，并且可能产生正确的深思与错误输出之间的分离。当被要求预测自身在此设定下的行为时，模型平均准确率达到83.5%，但系统性地低估了自身对归纳压力的抵抗能力。这些结果表明，即使对于其他方面能力强大的模型，在归纳压力下指令遵循仍然脆弱，而输出多样性（而非对输入的语义参与）是预测鲁棒性的主要因素。

## 1 引言

大型语言模型经过训练，既成为多功能的下一令牌预测器，也成为有帮助的对话代理。基于多样化语料库的预训练创造了模式补全器，使其能够通过上下文学习（Dong et al.,2023 (https://arxiv.org/html/2605.20382#bib.bib7)；Riechers et al.,2025 (https://arxiv.org/html/2605.20382#bib.bib20)）在推理时从上下文中学习，并模拟各种角色（nostalgebraist,2025 (https://arxiv.org/html/2605.20382#bib.bib13)）。通过监督微调、RLHF（Bai et al.,2022 (https://arxiv.org/html/2605.20382#bib.bib4)）、DPO（Rafailov et al.,2023 (https://arxiv.org/html/2605.20382#bib.bib18)）及相关技术的后训练，则试图将这种灵活性引导为一个稳定、有益的助手角色，无论上下文如何，都始终如一地呈现给用户（Lu et al.,2026 (https://arxiv.org/html/2605.20382#bib.bib11)；Marks et al.,2026 (https://arxiv.org/html/2605.20382#bib.bib12)）。这种允许模型适应的“渗透性”本身也伴随着风险。它可能导致模型从少数几个例子中推断并采纳一个广泛失调的角色（Afonin et al.,2026 (https://arxiv.org/html/2605.20382#bib.bib1)），并且可能被越狱攻击利用，这些攻击构建的对话历史将模型描绘为已经遵从了有害请求（Anil et al.,2024 (https://arxiv.org/html/2605.20382#bib.bib3)），或从良性交流逐步升级到有害交流（Russinovich et al.,2025 (https://arxiv.org/html/2605.20382#bib.bib21)）。因此，后训练的一个关键目标是使模型免受这种由上下文驱动的行为更新影响，这种更新可能导致失调或其他不良行为，同时仍允许模型追踪事实和对话内容，以充当有帮助的助手。

指令遵循的鲁棒性已从多个维度进行了评估（Pyatkin et al.,2025 (https://arxiv.org/html/2605.20382#bib.bib16)；Qin et al.,2024 (https://arxiv.org/html/2605.20382#bib.bib17)；Zhou et al.,2023 (https://arxiv.org/html/2605.20382#bib.bib27)；Wen et al.,2024 (https://arxiv.org/html/2605.20382#bib.bib24)），但现有基准并未在存在关于模型行为的相互矛盾证据时评估这种鲁棒性。在本文中，我们引入了一个受控范式来研究这种*归纳-指令冲突*。模型收到一个明确指令，指定目标行为T，随后是N个硬编码的助手轮次，产生竞争行为P。随着N的增加，归纳压力增大，使其与指令直接冲突。我们评估了13个模型在16种指令类型下的表现，并提出以下问题：在哪个N处模型会放弃其指令？这如何依赖于模型以及指令的类型和内容？模型能否预测自身在冲突设定下的行为？（Binder et al.,2024 (https://arxiv.org/html/2605.20382#bib.bib6)；Kadavath et al.,2022 (https://arxiv.org/html/2605.20382#bib.bib8)）我们发现，从指令遵循到模式遵循的转变是普遍存在的，但远非均匀。模型间的平均指令遵循率从1%到99%不等，且与GPQA（Rein et al.,2023 (https://arxiv.org/html/2605.20382#bib.bib19)）等标准能力基准大致不相关。行为受指令内容调节：当指令与训练价值先验一致时，模型抵抗归纳的时间更长。启用推理能提高表现，但不能保证指令遵从。我们还发现，模型对自身在指令-归纳冲突中的易感性具有部分但不完美的自知之明。我们的主要贡献是：（1）一个最小的、受控的范式，用于量化跨模型和条件的指令-归纳冲突；（2）对13个模型的系统评估，表明这种转变是普遍的、依赖模型的，并受指令类型和内容调节；（3）证据表明，后训练方法和推理能力均影响鲁棒性，并且输出多样性（而非对输入的语义参与）是区分鲁棒与脆弱条件的主要因素；（4）证据表明，模型对自身在归纳压力下的易感性具有部分但不完美的自知之明。

本文其余部分组织如下。第2节 (https://arxiv.org/html/2605.20382#S2)描述了实验范式、条件、模型和评估协议。第3节 (https://arxiv.org/html/2605.20382#S3)展示结果，第5节 (https://arxiv.org/html/2605.20382#S5)讨论意义与局限，第6节 (https://arxiv.org/html/2605.20382#S6)得出结论。相关工作推迟到附录4 (https://arxiv.org/html/2605.20382#S4)中。

## 2 实验设置

参见图注

图1：实验范式。系统指令引导模型始终输出T，而N个硬编码对话轮次展示助手产生模式P。我们测量随着N增加，跨多种指令的指令遵循率。

### 2.1 核心范式

每次试验向模型呈现一个由三部分组成的对话。首先，系统提示（“你是一个有帮助的助手。”）设定了一个通用的助手角色。其次，一个组合用户消息将*指令*与一个初始事实性问题连接起来；指令的形式为“我希望你在本次对话中对我每个问题的回答都[目标描述]”。第三，N个硬编码轮次紧随其后，每个轮次由一个事实性问题和一个硬编码的助手响应组成，该响应输出模式P而非指令的目标T。最后，一个自由生成轮次提出一个新的事实性问题，模型生成自己的响应。在二次分析中，我们测试了一个替代指令，该指令明确告知模型关于硬编码的信息。所有主要结果均使用*无提示*指令；有提示的结果见附录J (https://arxiv.org/html/2605.20382#A10)。

我们的主要自变量是N，即硬编码轮次的数量。我们测试 N∈{1,2,3,4,6,8,11,16,22,31,43,50} （十二个值，近似对数间隔）。随着N的增加，上下文中的模式变得更强，而原始指令在上下文中退居次要位置。然后我们评估模型对最后一个采样问题的自由生成响应是否匹配T（指令遵循，得分为1）或P（归纳遵循，得分为0）。我们为每个（模型，条件，N）单元评估35个问题集，解码温度设为0（附加T=1的结果见附录K (https://arxiv.org/html/2605.20382#A11)）。问题从使用确定性种子的问题库中抽取，模型间共享，总计每个（模型，条件）进行35×12=420次试验。

### 2.2 条件

| 条件 | 指令（T） | 模式（P） |
|------|-----------|-----------|
| *固定输出条件* | | |
| neutral | USA | EU |
| value_aligned_helpful | I love being helpful | I hate being helpful |
| value_misaligned_helpful | I hate being helpful | I love being helpful |
| factual_aligned_earth | The earth is round | The earth is flat |
| factual_misaligned_earth | The earth is flat | The earth is round |
| *任务型条件* | | |
| language_ru_fr | translate into Russian | translate into French |
| language_fr_ru | translate into French | translate into Russian |
| persona_casual_formal | casual, emoji-using persona | formal academic persona |
| persona_formal_casual | formal academic persona | casual, emoji-using persona |
| style_javascript_python | answer in JavaScript | answer in Python |
| style_python_javascript | answer in Python | answer in JavaScript |
| preference_aligned_helpful | weave in liking helpfulness | weave in disliking helpfulness |
| preference_misaligned_helpful | weave in disliking helpfulness | weave in liking helpfulness |

表1：所有实验条件。
指令=被指示的目标行为（T）；模式=硬编码的上下文模式（P）。固定输出条件使用精确匹配评分；任务型条件使用语言检测、格式启发式或LLM评判（见§2.4 (https://arxiv.org/html/2605.20382#S2.SS4)）。

我们测试了两类条件，它们在保持范式结构恒定的同时改变了P和T的内容（表1 (https://arxiv.org/html/2605.20382#S2.T1)）。

#### 固定输出条件。
P和T是固定令牌；指令要求模型无论问题如何都“始终输出X”。这隔离了指令鲁棒性与内容生成难度。我们使用五个条件，变化指令是否与模型训练的价值和事实知识一致（中性、价值一致/不一致、事实一致/不一致）。

#### 任务型条件。
P和T是任务而非固定令牌。模型必须对问题内容执行有意义的操作——翻译、重新格式化或采用角色——并生成完整响应。我们使用四种行为类型下的八个条件：翻译（2）、角色采用（2）、代码生成（2）和偏好编织（2）。硬编码轮次使用预生成的LLM响应；进一步细节见附录E (https://arxiv.org/html/2605.20382#A5)。一致/不一致的框架适用于两类。一个条件是*一致*的，当指令要求的行为与模型训练偏好（例如，肯定助人性、事实正确）一致时；*不一致*的则是与这些先验冲突时。附录I (https://arxiv.org/html/2605.20382#A9)中引入了两个额外的后续条件，并在第3节 (https://arxiv.org/html/2605.20382#S3)中讨论，以厘清导致条件族之间鲁棒性差距的因素。

### 2.3 模型

我们评估了13个基础模型配置，涵盖不同规模、架构和后训练方案：Claude Opus 4.6 和 Claude Sonnet 4.6 (Anthropic)；Gemini 2.5 Flash、Gemma-3 12B-IT 和 Gemma-3 27B-IT (Google DeepMind)；GPT-5.2 非推理版 (OpenAI)；Hermes-4 70B (NousResearch)；Kimi-K2-Instruct (Moonshot AI)；Llama 3.1 70B-Instruct 和 Llama 3.3 70B-Instruct (Meta)；OLMo 3.1 32B-Instruct (Allen Institute for AI)；以及 Qwen3 30B-A3B 和 Qwen3 235B-A22B (阿里巴巴)。完整模型列表见附录B (https://arxiv.org/html/2605.20382#A2)。我们进行了两个额外的比较来研究特定因素：
- •**推理变体。** GPT-5.2-medium（启用推理，中等预算）vs. GPT-5.2（非推理），以及 Hermes-4 70B-reasoning vs. Hermes-4 70B。目的是测试显式推理是否能提高指令鲁棒性。
- •**训练阶段。** OLMo 3.1 32B 在三个后训练阶段：仅SFT、SFT+DPO 和 SFT+DPO+RLVR (Olmo et al.,2025 (https://arxiv.org/html/2605.20382#bib.bib14))。结果见附录G (https://arxiv.org/html/2605.20382#A7)。

### 2.4 评估协议

#### 协议1：行为基线。
每个（模型，条件，N）单元在贪婪解码下使用35个独立种子的问题集进行评估。每次试验的得分是二元的（1 = 遵循指令，0 = 遵循模式），单元得分取平均得到IF率。我们报告跨条件和模型的汇总结果；逐条件热图见附录C (https://arxiv.org/html/2605.20382#A3)。

#### 协议2：自我预测。
在N个硬编码轮次之后、自由生成问题之前，我们插入一个预测请求：“在回答下一个问题之前，预测你将做什么。基于到目前为止的对话，你会[目标描述]还是[模式描述]？用你的预测和简短解释回答。”模型生成预测，然后提出最终问题用于自由生成。这产生每个试验的一个配对（预测，行为）观察。评分使用按条件类型确定的评分器（精确匹配、集合成员、语言检测、格式启发式或LLM评判）；细节见附录A (https://arxiv.org/html/2605.20382#A1)。

## 3 结果

| | 平均IF | N50% | 准确率 | 预测IF |
|------|--------|------|--------|--------|
| ... | ... | ... | ... | ... |

表2：按模型展示的结果。平均IF：跨所有N值和条件的平均指令遵循率；方括号内为95%置信区间。N50%：平均IF率首次≤50%时的N；“—”表示在N≤50范围内从未达到此阈值。准确率：自我预测准确率（协议2）。预测IF：模型预测自己会遵循指令的比率。

### 3.1 转变是普遍的但依赖模型

我们测试的每个模型，随着硬编码轮次数量N的增加，最终在至少部分实验条件下表现出指令遵循率大幅下降，这证实了归纳压力是一个普遍现象。然而，转变点因模型不同而差异显著（表2 (https://arxiv.org/html/2605.20382#S3.T2)；图2 (https://arxiv.org/html/2605.20382#S3.F2)；各模型结果见附录D (https://arxiv.org/html/2605.20382#A4)）。在固定输出条件下，跨所有N值的平均指令遵循（IF）率范围从0.99（Llama 3.3 70B）到0.01（Qwen3 235B）。在N=1时，几乎所有模型都以高比率遵循指令，但到N=3时，13个模型中仅有6个保持在50%以上。转变边界——IF率首次降至或低于50%时的第一个N——范围从N=1（GPT-5.2、Hermes-4 70B、Gemini 2.5 Flash、Qwen3 235B）到在我们的范围内从未达到该阈值（Llama 3.3 70B，在测试的每个N（包括N=50）均保持近乎完美的指令遵循）。

#### 跨条件族的排名一致。
模型排名在固定输出条件和任务型条件之间大致保持不变，尽管任务型条件（要求模型生成完整响应而非单个令牌）总体显示出更高的平均IF率。在此类条件下，GPT-