关于偏好对齐生成中导向向量局限性的研究

# 偏好对齐生成的导向向量局限性研究
来源：https://arxiv.org/html/2607.01802
Zara Hall∗ Kathleen McKeown 哥伦比亚大学计算机科学系，美国 通讯邮箱：m\.subbiah@columbia\.edu (https://arxiv.org/html/2607.01802v1/mailto:[email protected])

###### 摘要

导向向量已成为一种有前景的控制文本生成方法，提供可解释、无需训练的机制来塑造模型输出。然而，其实际通用性仍不明确。我们沿着三个维度研究导向向量泛化的局限性：特质可表达性、任务迁移性和多特质组合性。利用PLUME写作个性化基准，我们提取一系列偏好的导向向量，并在两个开源模型（Qwen2\.5\-7B\-Instruct和Llama3\.1\-8B\-Instruct）上评估它们在摘要和邮件写作任务中的表现。我们发现，导向向量的有效性在不同特质之间差异显著。我们进一步表明，当从正面和负面风格示例中提取的向量迁移到下游写作个性化任务时，其有效性可能会下降。最后，我们比较了组合多个导向向量的常用方法，发现随着更多向量的加入，所有方法在特质表达上均出现显著下降，并在连贯性和可表达性之间存在权衡，这需要针对具体设置进行超参数调优。综合来看，我们的结果表明，作为偏好对齐的通用工具，导向向量面临有意义的局限性。

关于偏好对齐生成的导向向量局限性研究

Melanie Subbiah∗ 和 Zara Hall∗ 和 Kathleen McKeown 哥伦比亚大学计算机科学系，美国 通讯邮箱：m\.subbiah@columbia\.edu (https://arxiv.org/html/2607.01802v1/mailto:[email protected])

††脚注：∗表示同等贡献

## 1 引言

导向向量是模型激活空间中的方向，已被证明在建模和控制模型行为方面有效 (Chen et al., 2025 (https://arxiv.org/html/2607.01802#bib.bib57))。导向向量具有几个有趣的优点。虽然强化学习方法可以通过更新模型权重来使其与特定偏好对齐 (Ziegler et al., 2019 (https://arxiv.org/html/2607.01802#bib.bib45); Wei et al., 2022 (https://arxiv.org/html/2607.01802#bib.bib42))，但它们需要大规模数据集和昂贵的微调。导向向量可以从示例中提取，并在推理时添加到模型中，使其轻量、灵活，且仅需数百个合成生成的示例即可有效 (Turner et al., 2024 (https://arxiv.org/html/2607.01802#bib.bib64); Zou et al., 2025 (https://arxiv.org/html/2607.01802#bib.bib5))。提示也是一种轻量级的适应方法，但大语言模型在长对话中可能“迷失”并遭受模型漂移 (Liu et al., 2024a (https://arxiv.org/html/2607.01802#bib.bib9); Li et al., 2024 (https://arxiv.org/html/2607.01802#bib.bib26); Choi et al., 2025 (https://arxiv.org/html/2607.01802#bib.bib38))。此外，巧妙的系统或用户提示可用于“越狱”模型以进入有问题的模式 (Shen et al., 2024 (https://arxiv.org/html/2607.01802#bib.bib3); Liu et al., 2024c (https://arxiv.org/html/2607.01802#bib.bib25))。由于激活导向直接在推理时修改内部表示，它已被探索为提示的替代控制机制 (Turner et al., 2024 (https://arxiv.org/html/2607.01802#bib.bib64); Zou et al., 2025 (https://arxiv.org/html/2607.01802#bib.bib5); Rimsky et al., 2024 (https://arxiv.org/html/2607.01802#bib.bib43))。

参考图注图 1：我们系统地研究了导向向量在跨特质类型、任务和向量数量时的局限性。

除了可控生成的优势外，导向向量还提供了关于模型如何理解输入的可解释性洞见 (Chen et al., 2025 (https://arxiv.org/html/2607.01802#bib.bib57))。当某个输入在激活空间中高度激活对应给定导向向量的方向时，表明模型正在识别输入中该向量的概念 (Zou et al., 2025 (https://arxiv.org/html/2607.01802#bib.bib5); Chen et al., 2025 (https://arxiv.org/html/2607.01802#bib.bib57))。检查在给定导向向量引导下模型输出的变化，也揭示了模型如何看待某个概念或角色。例如，在“邪恶”方向上进行引导可能会使模型在摘要中引入更多幻觉。

由于这些原因，导向向量已成为可解释性和对齐领域的热门研究方向。然而，大多数研究主要只关注少数特质（如“乐于助人”），并且通常只在推理时应用一个导向向量 (Turner et al., 2024 (https://arxiv.org/html/2607.01802#bib.bib64); Li et al., 2023 (https://arxiv.org/html/2607.01802#bib.bib24); Rimsky et al., 2024 (https://arxiv.org/html/2607.01802#bib.bib43))。但在现实中，要使导向向量成为一种有效的对齐技术，我们可能希望模型同时具备“乐于助人”和“值得信赖”等特质。在本文中，我们通过系统的实证研究推动导向向量的极限，测试了 36 个向量，跨越两个迁移任务，并组合了多达四个向量同时使用。这些研究贡献了以下见解（总结于图 1 (https://arxiv.org/html/2607.01802#S1.F1)）¹¹所有实验和代码可在以下地址获取：https://github.com/melaniesubbiah/steering-vectors/：

- •我们发现导向有效性在不同特质类型之间存在显著差异，影响全局结构和风格的特质最可靠地可引导，而非常规或局部表达的风格则最不有效。
- •我们证明导向向量不能可靠地在不同上下文中迁移，当从风格诱导提示中提取的向量应用于下游摘要和邮件写作任务时，特质表达显著下降。
- •我们比较了在推理时组合多个导向向量的多种方法，发现随着更多向量组合，特质表达和输出连贯性都下降，并且没有单一方法能消除这种权衡。

## 2 相关工作

#### 激活导向与表示工程

先前的工作已引入了通过修改内部激活而非更新模型权重来控制语言模型的方法。Subramani 等人 (2022 (https://arxiv.org/html/2607.01802#bib.bib11)) 展示了潜在空间导向向量可用于句子恢复和无监督情感迁移。Zou 等人 (2025 (https://arxiv.org/html/2607.01802#bib.bib5)) 和 Turner 等人 (2024 (https://arxiv.org/html/2607.01802#bib.bib64)) 将激活工程扩展到将模型输出引导至特定主题。其他工作发展了用于指令遵循、安全性和概念控制的相关导向方法 (Stolfo 等人, 2025 (https://arxiv.org/html/2607.01802#bib.bib21); Bhattacharjee 等人, 2024 (https://arxiv.org/html/2607.01802#bib.bib48); Zhang 等人, 2025 (https://arxiv.org/html/2607.01802#bib.bib18))。我们的工作基于这一研究线，研究激活导向在跨许多风格特质、下游任务和向量组合时的行为。

#### 语言模型中的风格与角色控制

最近的工作将激活导向专门应用于风格特质和角色。值得注意的是，Chen 等人 (2025 (https://arxiv.org/html/2607.01802#bib.bib57)) 提出了基于向量的角色特质控制。这项工作建立在将概念转化为线性方向的框架之上 (Rimsky 等人, 2024 (https://arxiv.org/html/2607.01802#bib.bib43); Turner 等人, 2024 (https://arxiv.org/html/2607.01802#bib.bib64); Liu 等人, 2024b (https://arxiv.org/html/2607.01802#bib.bib40))，并且最近的方法利用表示空间中的线性向量进行可控生成 (Cao 等人, 2024 (https://arxiv.org/html/2607.01802#bib.bib10); Dunefsky 和 Cohan, 2025 (https://arxiv.org/html/2607.01802#bib.bib46))。先前的工作主要集中在少数特质或狭窄范围的应用上，如安全性、幻觉、情感或角色控制。Konen 等人 (2024 (https://arxiv.org/html/2607.01802#bib.bib13)) 和 Zhang 等人 (2025 (https://arxiv.org/html/2607.01802#bib.bib18)) 将这些想法扩展到风格控制，尽管他们评估的风格特质范围有限。相比之下，我们系统地研究了导向有效性横跨 36 种风格偏好、两个任务迁移设置和四个同时应用的向量。

#### 辅助写作的偏好对齐

关于写作代理对齐的工作主要通过从用户编辑中推断自然语言描述来实现个性化。PRELUDE 和 CIPHER 从用户编辑中推断偏好 (Gao 等人, 2024 (https://arxiv.org/html/2607.01802#bib.bib29))，而 PROSE 将此设置扩展到从 PLUME 中的用户样本推断更丰富的偏好 (Aroca-Ouellette 等人, 2025 (https://arxiv.org/html/2607.01802#bib.bib12))。更通用的个性化基准如 LaMP 评估语言模型是否能适应特定用户的历史 (Salemi 等人, 2024 (https://arxiv.org/html/2607.01802#bib.bib23))。相关工作还研究了从用户编辑、演示和内容中进行偏好学习 (Hewitt 等人, 2024 (https://arxiv.org/html/2607.01802#bib.bib27); Shaikh 等人, 2025 (https://arxiv.org/html/2607.01802#bib.bib22); Tan 等人, 2025 (https://arxiv.org/html/2607.01802#bib.bib20))。我们的工作与这些方法不同，通过导向向量而非提示优化、编辑或微调来研究对齐。

| 任务 | 源领域 | 用户偏好 |
|------|--------|----------|
| 摘要 | 新闻 (CNN/DM) | 逐步结构⋅\\cdotsimile⋅\\cdot连词符号⋅\\cdot儿童书籍风格 |
|      | 论坛帖子 (SLF5k) | 基于标题的结构⋅\\cdot修辞问题⋅\\cdot全大写⋅\\cdot推文风格 |
|      | 百科全书 (Wikipedia) | 押韵结构⋅\\cdot现代俚语⋅\\cdot剧本风格 |
|      | 论文摘要 (ArXiv) | 问答结构⋅\\cdot拟人化⋅\\cdot古语⋅\\cdot播客风格 |
|      | 电影评论 (IMDB) | 意识流⋅\\cdot拟声词⋅\\cdot意象⋅\\cdot老式广播风格 |
| 邮件写作 | 个人建议 (SLF5k) | 强烈情感⋅\\cdot头韵⋅\\cdot正式语气⋅\\cdot第二人称叙述 |
|      | 论文评论 (Ampere) | 尖锐批评⋅\\cdot短促有力的句子⋅\\cdot括号插入语⋅\\cdot果断 |
|      | 论文摘要 (CC-BY) | 高度好奇⋅\\cdot长流畅句子⋅\\cdot表情符号⋅\\cdot条件表达 |
|      | 论文推文 | 讽刺⋅\\cdot夸张⋅\\cdot非正式语气⋅\\cdot第三人称视角 |

表 1：来自 PLUME (Aroca-Ouellette 等人, 2025 (https://arxiv.org/html/2607.01802#bib.bib12)) 的评估任务和用户偏好集。每个源领域对应一组可在该领域表达的不同偏好。

参考图注图 2：为了提取导向向量，我们首先生成风格偏好的配对正反示例，然后提取这些配对示例中逐层激活的差异。

## 3 方法

为了考虑具有许多可引导特质的环境，我们关注写作个性化。写作个性化涉及的偏好主要是风格方面的，而非安全相关的，但我们可以轻松地在其中处理大量互补的特质。

### 3.1 数据集

为了选择适当范围的特质来测试导向有效性和任务迁移，我们使用了写作个性化基准 PLUME (Aroca-Ouellette 等人, 2025 (https://arxiv.org/html/2607.01802#bib.bib12))。PLUME 是为了解决辅助写作基准 PRELUDE (Gao 等人, 2024 (https://arxiv.org/html/2607.01802#bib.bib29)) 的局限性而开发的。该数据集包含邮件写作和摘要任务，每个任务都有一组用户，他们对如何完成每项任务有不同的偏好（见表 1 (https://arxiv.org/html/2607.01802#S2.T1)）。

在这两个任务中，模型都会获得一个源文档作为摘要或邮件的内容。此外，还会提供旨在控制风格特质的偏好，例如修辞问题、正式语气和全大写强调，或押韵结构。源文档和相应的偏好来自表 1 (https://arxiv.org/html/2607.01802#S2.T1) 中所示的不同数据集。在原始的 PLUME 任务中，模型必须从用户演示中迭代推断并匹配用户偏好，但我们考虑使用导向向量进行偏好特质的单次偏好对齐。与 Aroca-Ouellette 等人 (2025 (https://arxiv.org/html/2607.01802#bib.bib12)) 和 Gao 等人 (2024 (https://arxiv.org/html/2607.01802#bib.bib29)) 一致，我们从每个源数据集中采样 25 个示例，得到 125 个摘要任务和 100 个邮件写作任务²²我们在 GitHub 仓库中发布了这些评估集，以方便未来在这些任务上的工作。。

### 3.2 导向向量

我们使用 PersonaVectors 方法 (Chen 等人, 2025 (https://arxiv.org/html/2607.01802#bib.bib57)) 基于 PLUME 数据中所有可能的偏好提取向量。该方法有三个主要组成部分：(i) 配对数据生成，(ii) 提取基于激活的导向向量，以及 (iii) 引导输出。为了同时考虑多个特质的引导，我们增加了 (iv) 组合多个特质。前两步如图 2 (https://arxiv.org/html/2607.01802#S2.F2) 所示，所有步骤在本节中详述。

#### 1. 配对数据生成

我们首先生成配对的指令数据，旨在激发和抑制每个目标特质。遵循 Chen 等人 (2025 (https://arxiv.org/html/2607.01802#bib.bib57))，我们创建一组正向提示，引导大语言模型生成面向目标偏好的文本，以及一组负向提示，引导其避免该偏好。为了确保向量与内容无关，我们将这些指令配以一组跨主题的问题（例如“运动对健康有多重要？”、“什么构成一杯好咖啡？”）。我们使用 Chen 等人 (2025 (https://arxiv.org/html/2607.01802#bib.bib57)) 提供的提示生成指令，以及我们在附录 A (https://arxiv.org/html/2607.01802#A1) 中定义的特质。

为了生成高质量的问题，我们使用一个强大的大语言模型。然而，生成的响应必须由用于导向管道的同一模型产生，因为导向向量需要在生成过程中直接访问模型的内部激活。因此，我们使用较小的开源模型进行响应生成，以便直接操作激活并提取导向向量。

#### 2. 提取基于激活的导向向量

我们考虑一个语言模型 f_θ，参数为 θ，由 L 个 transformer 层组成。在每一层 l ∈ {1,...,L} 中，第 t 个 token 的隐藏表示为 h_t^(l) ∈ R^d。对于每个风格特质 k ∈ {1,...,K}，我们在选定层预先计算一个基于激活的导向向量 v_k^(l) ∈ R^d。每个导向向量定义为包含和不包含目标特质的句子之间平均隐藏状态的差异：

v_k^(l) = \bar{h}_k^(l) - \bar{h}_{∖k}^(l),

其中 \bar{h}_k^(l) 是在 layer l 上，对一段