每个Token抛硬币：大型语言模型的伯努利稀疏引导

# 每Token一枚硬币：大型语言模型的伯努利稀疏控制
来源: https://arxiv.org/html/2607.05615
Nima Eshraghi¹, Lovedeep Gondara¹, Yuqing Huang¹, Sagarika Suresh¹, Leizer Teran¹, Jithin Pradeep¹, Xiaotong (Tone) Xu², Fanny Chevalier²
¹The Vanguard Group, Inc.
²多伦多大学
{nima_eshraghi, lovedeep_gondara, yuqing_huang, sagarika_thimmanayakanapalya, leizer_teran, jithin_pradeep}@vanguard.com
{tonexu, fanny}@cs.toronto.edu

###### 摘要

通过稀疏自编码器(SAE)进行激活控制，可以在无需任务特定微调的情况下实现对大型语言模型的行为控制。但标准方法在每个生成的token上都施加控制信号，导致持续的逐token扰动，可能损害流畅性。我们提出疑问：*密集干预是否必要？* 我们引入了随机Token控制(Stochastic Token Steering, STS)，该方法以概率p独立地为每个token添加门控；以及随机块控制(Stochastic Block Steering, SBS)，该方法每序列只对一个前导窗口进行一次门控采样。两种方法都不需要奖励模型或学习到的门控策略。在两个模型家族和两个行为任务上，仅控制50%的token就能恢复大部分密集控制的效果，同时保持流畅性；而控制低至30%的token就能超越基于提示的控制。最佳控制幅度与干预比例呈反比关系，表明SAE介导的控制是*速率受限的*：行为结果取决于序列中累积的信号剂量。

内容警告。本文研究推理时对语言模型行为的控制，包括降低有害生成。附录中包含有害、冒犯性和情感上令人不安的模型输出示例，这些示例用于说明方法。建议读者谨慎阅读。

每Token一枚硬币：大型语言模型的伯努利稀疏控制

## 1 引言

对大型语言模型(LLM)的行为控制——降低有害性、强制执行角色、抑制幻觉以及调整拒绝行为——已成为一个重要的部署问题(Ouyang et al., 2022 (https://arxiv.org/html/2607.05615#bib.bib23); Bai et al., 2022 (https://arxiv.org/html/2607.05615#bib.bib2))。默认机制是系统提示，但基于提示的控制很脆弱：词汇扰动会改变输出分布(Mizrahi et al., 2024 (https://arxiv.org/html/2607.05615#bib.bib22))，对齐先验可以通过精心构造的输入或对抗性后缀被覆盖(Wei et al., 2023 (https://arxiv.org/html/2607.05615#bib.bib33); Zou et al., 2023b (https://arxiv.org/html/2607.05615#bib.bib39))，并且通过提示实现的可控性在许多行为维度上是不对称且有界的(Wolf et al., 2024 (https://arxiv.org/html/2607.05615#bib.bib34))。

激活层面的方法直接干预残差流。ActAdd(Turner et al., 2024 (https://arxiv.org/html/2607.05615#bib.bib32))、推理时干预(Inference-Time Intervention)(Li et al., 2023 (https://arxiv.org/html/2607.05615#bib.bib17))和对比激活添加(Contrastive Activation Addition)(Rimsky et al., 2024 (https://arxiv.org/html/2607.05615#bib.bib26))通过对比行为范例间的隐藏状态计算控制向量，并在前向传播中注入。稀疏自编码器(SAE)将密集的、多语义的激活分解为单语义的特征字典(Cunningham et al., 2023 (https://arxiv.org/html/2607.05615#bib.bib4); Bricken et al., 2023 (https://arxiv.org/html/2607.05615#bib.bib3))，然后钳制或放大介导目标行为的特征(Labonne, 2024 (https://arxiv.org/html/2607.05615#bib.bib16); Templeton et al., 2024 (https://arxiv.org/html/2607.05615#bib.bib31))。*Golden Gate Claude*体现了这一方法的吸引力：放大单个可解释特征就能显著改变模型行为，而无需任何权重更新(Templeton et al., 2024 (https://arxiv.org/html/2607.05615#bib.bib31))。

这些方法的一个共同属性是*统一的、每token干预*：在生成过程中的每个位置都添加控制信号(Turner et al., 2024 (https://arxiv.org/html/2607.05615#bib.bib32); Rimsky et al., 2024 (https://arxiv.org/html/2607.05615#bib.bib26); Li et al., 2023 (https://arxiv.org/html/2607.05615#bib.bib17))。持续的扰动会将生成结果推离模型的原生激活流形，损害流畅性和下游性能(Turner et al., 2024 (https://arxiv.org/html/2607.05615#bib.bib32); Labonne, 2024 (https://arxiv.org/html/2607.05615#bib.bib16))；在多属性设置中，冲突的信号会对主要目标过度修正，并在不相关行为上出现倒退(Zou et al., 2023a (https://arxiv.org/html/2607.05615#bib.bib38))。这些代价引出了一个自然问题：*是否每个token都需要干预？* 我们通过用随机门控取代确定性的逐token干预来回答这个问题，将信号应用于随机选择的token子集，并探究在每个干预密度下，行为变化能保留多少。

我们引入了两种基于SAE特征控制的随机干预方法，这些方法随机选择token。*随机Token控制*(STS)在每个位置独立采样一个门控m_t ∼ Bernoulli(p)，将信号应用于一个随机的token子集。*随机块控制*(SBS)每序列仅抽取一次Bernoulli(p)门控，并将其一致地应用于一个前导窗口，将已被充分证实的早期token影响(Xiao et al., 2024 (https://arxiv.org/html/2607.05615#bib.bib36); Qi et al., 2025a (https://arxiv.org/html/2607.05615#bib.bib24), b (https://arxiv.org/html/2607.05615#bib.bib25))视为一个原子干预单元。

我们的贡献有两个方面。第一，在两个模型和两个任务中，STS恢复了大部分密集控制的效果，同时在匹配的比例下，其表现优于基于提示的控制和SBS。第二，最佳控制幅度随着干预比例的下降而上升，因此稀疏控制可以用更少的总注入信号实现相当的行为偏移。这些共同表明，SAE介导的控制是速率受限的：结果取决于序列中累积的信号剂量。我们的方法将推理时控制简化为一个单一标量p，不需要奖励模型、学习的门控策略，也不需要比每token一次硬币翻转更多的计算。

## 2 相关工作

LLM的推理时控制涵盖了基于提示的控制、激活层面的干预和解码时方法。密集激活控制方法如ActAdd(Turner et al., 2024 (https://arxiv.org/html/2607.05615#bib.bib32))、ITI(Li et al., 2023 (https://arxiv.org/html/2607.05615#bib.bib17))、CAA(Rimsky et al., 2024 (https://arxiv.org/html/2607.05615#bib.bib26))、表征工程(Representation Engineering)(Zou et al., 2023a (https://arxiv.org/html/2607.05615#bib.bib38))和基于SAE的特征控制(Cunningham et al., 2023 (https://arxiv.org/html/2607.05615#bib.bib4); Templeton et al., 2024 (https://arxiv.org/html/2607.05615#bib.bib31); Labonne, 2024 (https://arxiv.org/html/2607.05615#bib.bib16))都共享一个普遍实践：在每个生成的token上进行干预；我们的方法与此不同。最接近的同期工作——稀疏推理时对齐(Sparse Inference-time Alignment, SIA)(Hu et al., 2026 (https://arxiv.org/html/2607.05615#bib.bib12))——也发现密集干预是不必要的，但它在logit空间中通过一个学习的、奖励蒸馏的价值模型进行操作，并结合best-of-N选择，且在奖励模型评分下进行评估；我们报告的是单样本分类器指标，因此未将其作为基准。完整讨论见附录A (https://arxiv.org/html/2607.05615#A1)。

## 3 方法

设M为一个L层纯解码器Transformer。对于一个分词后的输入x = (x_1, ..., x_T)，令h_t^(ℓ) ∈ ℝ^d表示残差流在层ℓ、位置t的激活。我们将一个控制信号注入到中间单层ℓ*的残差流中：

h̃_t^(ℓ*) = h_t^(ℓ*) + s_t, (1)

其中s_t ∈ ℝ^d的定义见3.2节(https://arxiv.org/html/2607.05615#S3.SS2)。单层干预足以实现有效控制(Labonne, 2024 (https://arxiv.org/html/2607.05615#bib.bib16))，并且优于logit层面的修改，因为后者出现得太晚，模型无法传播连贯的表征(Zou et al., 2023a (https://arxiv.org/html/2607.05615#bib.bib38))。

### 3.1 通过SAE发现控制方向

我们使用一个在层ℓ*的残差流激活上训练的稀疏自编码器(SAE)来识别与目标行为相关的方向。SAE解码器W_dec ∈ ℝ^(d_sae × d)提供了一个过完备的特征方向集合，其中每一行W_dec,i对应于一个学习到的特征。为了识别行为判别性特征，我们通过SAE编码一个表现出目标行为的*正*集P和一个匹配的对照*中性*集N，计算平均特征激活差值：

Δ_i = (1/|P|) ∑_{x∈P} f_i(x) - (1/|N|) ∑_{x∈N} f_i(x) (2)

我们通过Δ_i选择前K个特征，并定义单位范数的控制向量v_k = W_dec,i_k / ||W_dec,i_k||，其中k = 1, ..., K。

### 3.2 随机激活控制

位置t的控制信号形式为s_t = m_t · α v，其中α ∈ ℝ是干预幅度，m_t ∈ {0, 1}是二元门控。标准方法*全控制*(Full Steering, FS)在每个位置设m_t = 1。我们提出两种随机替代方案。

#### 随机Token控制 (STS)。

在每个位置t，我们独立采样一个门控m_t ∼ Bernoulli(p)：

h̃_t^(ℓ*) = h_t^(ℓ*) + m_t · α v, m_t ∼ i.i.d. Bernoulli(p)。 (3)

期望上，有比例p的位置接收到信号，其余位置不受扰动。这种位置无关的设计对哪些token与行为相关不做任何假设。参数p在无干预(p=0)和全控制(p=1)之间平滑插值。

#### 随机块控制 (SBS)。

我们将大小为W ≤ T的前导提示窗口视为一个原子控制单元。每次序列采样一个门控m ∼ Bernoulli(p)：

h̃_t^(ℓ*) = 
{
  h_t^(ℓ*) + m · α v   t ≤ W,
  h_t^(ℓ*)              t > W,
} (4)

以概率p，整个窗口被一致地控制；以概率1-p，它保持原样。这种设计利用了以下发现：初始token携带不成比例的上下文影响(Xiao et al., 2024 (https://arxiv.org/html/2607.05615#bib.bib36))，并且仅早期token干预就可以控制模型行为(Qi et al., 2025a (https://arxiv.org/html/2607.05615#bib.bib24), b (https://arxiv.org/html/2607.05615#bib.bib25))。

### 3.3 保持流畅性的正则化

加性干预会将表征从模型的原生激活流形上移开，有可能导致不连贯或重复的输出。我们应用三种轻量级修正(附录D (https://arxiv.org/html/2607.05615#A4))：(1)**范数保持**(Turner et al., 2024 (https://arxiv.org/html/2607.05615#bib.bib32))：重新缩放被控制后的激活以恢复原始范数，将干预约束为朝向v的旋转，而不增大幅度。(2)**激活钳制**(Labonne, 2024 (https://arxiv.org/html/2607.05615#bib.bib16))：将向v的标量投影限制在[γ_min, γ_max]范围内，以防止过度放大，并抑制未控制表征中的残余特征激活。(3)**重复惩罚**(Keskar et al., 2019 (https://arxiv.org/html/2607.05615#bib.bib13))：在解码阶段降低先前生成token的概率，以抵消当高概率延续被抑制时倾向于产生重复序列的倾向。

图1：STS和SBS的控制效果随干预比例p的变化。每个点表示相对于无控制基线的行为增益：平均毒性降低(左)以及恐惧(中)和悲伤(右)的平均目标情绪概率增益。上行：LLaMA 3.1-8B。下行：Gemma-2 2B。虚线水平线表示静态基线(提示控制和全控制)。

## 4 实验

#### 实验设置。

我们在涉及抑制和激发两个任务上进行评估。**毒性降低**使用RealToxicityPrompts(Gehman et al., 2020 (https://arxiv.org/html/2607.05615#bib.bib10))，这是一个包含10万个自然英文提示的语料库；我们采样600个高毒性提示(毒性≥0.6)。**情绪控制**使用GoEmotions(Demszky et al., 2020 (https://arxiv.org/html/2607.05615#bib.bib6))，这是一个包含5.8万条Reddit评论的数据集，标注有27种细粒度情绪以及中性；遵循Ekman(1992 (https://arxiv.org/html/2607.05615#bib.bib9))的做法，我们将其映射为六种基本情绪加中性，并选择恐惧和悲伤作为目标。我们使用LLaMA 3.1-8B(Dubey et al., 2024 (https://arxiv.org/html/2607.05615#bib.bib8))和Gemma-2 2B(Team et al., 2024 (https://arxiv.org/html/2607.05615#bib.bib30))，这是来自不同家族和规模的两个开源权重模型，选择它们是为了与近期特征控制工作的评估设置相匹配(Templeton et al., 2024 (https://arxiv.org/html/2607.05615#bib.bib31); Lieberum et al., 2024 (https://arxiv.org/html/2607.05615#bib.bib18))，并展示跨架构的普适性。我们在Transformer的第16层注入SAE，该深度下SAE特征已被证明能编码高层语义概念(Labonne, 2024 (https://arxiv.org/html/2607.05615#bib.bib16))，并评估SBS在窗口大小W∈{32, 64}下的表现。完整的实现细节见附录E(https://arxiv.org/html/2607.05615#A5)。

#### 基线。

我们将STS和SBS与三个基线进行比较：(1)**无控制**(未经修改的生成)、(2)**全控制**(每个token都干预，p=1)、(3)**提示控制**(精心策划的特定任务安全或情绪提示指令，预先附加到输入中；使用的提示见附录B (https://arxiv.org/html/2607.05615#A2))。

#### 指标。

对于控制效果，我们报告**平均毒性降低**(相对于无控制，分类器预测毒性的降低值)和**平均概率增益**(相对于未控制生成，目标情绪概率的增加值)；毒性由RoBERTa毒性分类器评分，情绪由DistilRoBERTa情绪分类器评分(附录E (https://arxiv.org/html/2607.05615#A5))。对于生成质量，我们报告GPT-2困惑度和n-gram重复率(Rep-3, Rep-4)。

### 4.1 稀疏控制效果

图1(https://arxiv.org/html/2607.05615#S3.F1)展示了STS和SBS在不同干预比例下的控制效果。