CLIPer：通过分类器引导的推理时个性化定制多样化用户偏好

# CLIPer：通过分类器引导的推理时个性化定制多样化用户偏好

来源：https://arxiv.org/html/2605.07162
Jinyan Su, Jinpeng Zhou, Claire Cardie, Wen Sun
康奈尔大学
{js3673, jpzhou, ctc9, ws455}@cornell.edu

###### 摘要

个性化大型语言模型（LLM）可以通过根据有用性、简洁性和幽默感等偏好定制响应，从而显著提升用户体验。然而，对模型进行微调以应对所有可能的用户偏好组合在计算上成本高昂且不切实际。在本文中，我们提出了 **CLIPer**（Classifier-guided Inference-time Personalization，分类器引导的推理时个性化），这是一种轻量级的个性化方法，利用分类器模型在推理时动态引导 LLM 生成以符合不同的用户偏好。我们的方法消除了对广泛微调的需求，在引入可忽略不计的额外计算开销的同时，实现了在单维和多维偏好上更具可控性和细微差别的个性化。全面的实证分析证明了我们在提供个性化语言生成方面的可扩展性和有效性。

**CLIPer：通过分类器引导的推理时个性化定制多样化用户偏好**

Jinyan Su, Jinpeng Zhou, Claire Cardie, Wen Sun
康奈尔大学
{js3673, jpzhou, ctc9, ws455}@cornell.edu

## 1 引言

近年来，LLM 已成为强大的工具，推动了各个领域的应用进步。其通过提供个性化服务以满足多样化用户需求潜力，激发了开发个性化 LLM 的浓厚兴趣，最终目标是将其作为个人助手。虽然诸如基于人类反馈的强化学习（RLHF）等方法使 LLM 与一般人类偏好对齐，但它们未能解决个体用户偏好的巨大多样性问题。这种泛化可能会负面影响用户体验，特别是对于少数群体，并限制 LLM 的可及性。例如，为儿童设计的 LLM 应该友好且易于理解，而为 IT 专业人士设计的 LLM 则应使用技术性和正式的语言。

| 方法 | 训练成本 | 推理成本 |
| :--- | :--- | :--- |
| 朴素微调 | $O(2^d)$ | $O(1)$ |
| P-Soup (Jan et al., 2023) | $O(d)$ | $O(1)$ |
| MoPE (Zhou et al., 2024) | $O(d)$ | $O(d)$ |
| CLIPer (本文) | $O(1)$ | $O(1)$ |

**表 1：比较不同的个性化方法。** 设 $d$ 为用户可选的偏好数量，例如 {简洁, 幽默, 非正式, ...}，对于每个偏好维度，用户可以选择拥有它或不拥有它，导致总共有 $2^d$ 个选项。朴素微调总共需要训练 $2^d$ 个模型。同时，Jan et al. (2023) 和 Zhou et al. (2024) 为每个维度微调模型，因此总共训练 $d$ 个模型。此外，Zhou et al. (2024) 在推理时需要所有 $d$ 个模型，导致 $O(d)$ 的推理时间成本。我们的方法不需要为偏好维度训练任何模型。

LLM 的个性化（图 1）通过使模型行为与多样化的个人或群体偏好保持一致，有望显著增强用户体验。一种实际的方法是沿着各种维度（如有用性、简洁性或幽默感）对用户偏好进行聚类。然后，用户可以通过在这些维度中进行选择来定义他们理想的 LLM 个性，使模型能够动态适应他们的需求。个性化的最简单方法是通过直接提示，即我们将用户偏好包含在提示中。然而，当偏好无法用自然语言明确表述，只能从用户偏好数据中推断时，偏好提示可能会遇到困难。在这种情况下，最直接的方法是反映每个用户偏好的数据上微调模型。然而，为每种偏好类型微调模型已经需要大量的计算和内存资源。当用户偏好跨越多个维度时，挑战加剧，因为可能组合的数量呈指数级增长。例如，如图 1 所示，有些用户可能希望他们的 LLM 简洁，有些可能更喜欢他们的模型幽默，而有些可能希望他们的模型具有维度的组合，例如既简洁又幽默。

先前工作 Jan et al. (2023); Zhou et al. (2024) 承认在单维度上微调模型的必要性，并主要集中在减少当用户具有多个维度的组合偏好时的复杂性，将训练成本从指数级降低到关于维度 $d$ 的线性级。参见表 1 中的比较。

> **图 1：动机：不同用户有不同的偏好。**
>
> **图 2：CLIPer 概览：在每一步 $i$，一个轻量级分类器模型输出给定提示 $x$、之前步骤的部分生成 $y_{<i}$ 和潜在下一个 token 的偏好类别的概率。详情见第 3.2 节。**

然而，为每个偏好维度训练 $d$ 个单独模型对于大型 LLM 来说可能不切实际。为了使个性化更具可行性，我们需要一种轻量级的个性化方法，而无需为每个偏好维度微调 LLM。在本文中，我们提出了 **CLIPer**，一种 **C**lassifier-guided **I**nference-time **Per**sonalization（分类器引导的推理时个性化）方法，消除了训练和推理期间训练和维护多个微调模型的需求。我们的分类器被训练以根据过去的文本预测所有偏好维度上的分布。该分布建模了给定文本被分类为每个偏好维度的可能性（例如，给定文本被分类为幽默的概率是多少）。我们的分类器在 token 级别进行预测，其输出可用于在推理时的 token 级别动态调整基础模型的 logits。与微调多个大型 LLM 相比，我们的方法产生的计算开销微不足道，同时有效地引导 LLM 走向个性化行为。

总结而言，我们的贡献如下：
1. 我们提出了一种分类器引导的推理时个性化方法（CLIPer），该方法训练一个小分类器，在推理时动态调整 LLM 的 logits，从而实现无需微调 LLM 的个性化。这种方法在偏好维度方面保持恒定的训练和推理成本，使其在现实世界应用中既具有可扩展性又具有实用性。
2. 我们的方法支持单维和多维偏好设置。
3. 我们引入了一种新颖的分类器模型架构，通过同时基于过去 token（前缀）条件联合预测偏好维度上的条件分布，从而减少计算开销。该架构使我们的方法在推理时只需对大型 LLM 和小分类器执行一次前向传播。
4. 通过全面的实证分析，我们展示了我们的方法在实现个性化和可控的文本生成方面的有效性，而无需广泛的微调或额外的计算负担。

## 2 相关工作

#### 个性化 LLM
P-RLHF (Li et al., 2024) 引入了一种轻量级用户模型来捕捉个体偏好，并从人类反馈中联合学习用户模型和个性化 LLM。Poddar et al. (2023) 推断用户特定的潜在表示，用它来条件化奖励模型和策略，而无需额外的用户特定数据。Zhuang et al. (2023) 提出了一种系统，训练重排序器以优先考虑有用信息，并训练适配器以使输出与用户偏好对齐。同样，Zollo et al. (2023) 利用预训练的奖励模型生成用户特定信号，以模拟大量多样化的用户群。Jan et al. (2023) 提出了个性化 Soup（P-Soup），将训练成本降低到关于维度数量 $d$ 的线性复杂度。随后的工作 Zhou et al. (2024) 使用推理时个性化，合并维度专家模型的输出。然而，Jan et al. (2023) 和 Zhou et al. (2024) 都需要为每个维度训练一个专家模型，导致 $d$ 个维度产生 $d$ 倍的额外训练计算。此外，Zhou et al. (2024) 在推理时同时使用 $d$ 个专家模型，导致 $O(d)$ 的推理计算复杂度，如表 1 总结所示。

#### LLM 对齐
Dathathri et al. (2019) 引入了即插即用语言模型（PPLM），通过将预训练的 LLM 与轻量级属性分类器相结合来实现可控生成，而无需重新训练基础模型。Li et al. (2023) 提出了推理时干预以激发更真实的响应。Khanov et al. (2023) 使用学习到的奖励函数引导生成，而 Chakraborty et al. (2024) 隐式估计目标奖励的最优价值函数。Mudgal et al. (2024) 训练单独的前缀评分器以近似奖励函数。Chen et al. (2023) 提出了 PAL，一个明确纳入多样化人类偏好的多元对齐通用框架。其他几项工作也通过多目标强化学习的视角探索对齐 Shi et al. (2024); Rame et al. (2023); Yang et al. (2023)，其基础来自（多目标）RL (Sener and Koltun, 2018)。

## 3 方法

### 3.1 问题设置

#### 偏好维度
给定一组 $d$ 个偏好，例如 $\mathcal{P}=\{Concise, Funny, Rigorous, ...\}$，用户可以从这些 $d$ 个偏好维度中进行选择。设 $c$ 为单个用户偏好维度，例如 $c=Concise$ 或 $c=Funny$。设 $\mathbf{c}$ 为用户偏好集合，例如 $\mathbf{c}=\{Concise, Funny\}$，表示用户希望他们的模型既简洁又幽默。不同的 $\mathbf{c}$ 总数为 $2^d$。

#### 独立性假设
记 $\mathcal{P}=\{c_1, \dots, c_d\}$，并且 $P(c_i \| x, y)$ 对于 $i=1, 2, \dots, d$ 为提示和局部句子 $y$ 被分类为偏好 $c_i$ 的概率。我们假设 $\mathbf{c}$ 中的用户偏好是独立的，即，对于任何偏好集合 $\mathbf{c}$，我们假设 $P(\mathbf{c} \| x, y) = \prod_{c \in \mathbf{c}} P(c \| x, y)$。这种独立性假设使我们的方法能够随着 $d$ 的增加高效扩展，当 $\mathbf{c}$ 跨越多个维度时——我们不需要为 $2^d$ 个可能选择中的所有 $\mathbf{c}$ 训练分类器，我们只训练 $d$ 个分类器，每个对应于单个偏好维度。

### 3.2 个性化文本生成

给定用户偏好 $\mathbf{c}$ 和提示 $x$（如图 1 所示），来自个性化模型的文本生成可以公式化为给定 $x$ 和 $\mathbf{c}$ 的生成 $y$ 的条件文本概率：

$$ p(y \| x, \mathbf{c}) = \prod_{i=1}^{n} p(y_i \| y_{<i}; x, \mathbf{c}), \quad (1) $$

其中 $y_i$ 表示生成文本中的第 $i$ 个 token，$y_{<i}$ 表示直到步骤 $i-1$ 生成的 token。虽然为每种可能的偏好 $\mathbf{c}$ 训练单独模型在理论上可以实现完美的个性化，但由于所需模型数量随偏好维度数量 $d$ 的增加而呈指数增长，这在计算上是不可行的。相反，我们关注推理时个性化，其中通用基础模型 $p(y \| x)$ 被动态调整以逼近个性化模型 $p(y \| x, \mathbf{c})$。为了实现这一点，我们通过引入辅助分类器模型 $p(\mathbf{c} \| y, x)$ 来引导基础模型，利用贝叶斯推断：

$$ p(y \| x, \mathbf{c}) \propto p(y \| x) \cdot p(\mathbf{c} \| y, x)^{\alpha}, \quad (2) $$

其中 $\alpha$ 是控制分类器模型影响的超参数。当 $\alpha=0$ 时，公式简化为没有个性化的基础模型。在自回归语言模型的情况下，其中 $p(y \| x, \mathbf{c}) = \prod_{i=1}^{n} p(y_i \| y_{<i}; x, \mathbf{c})$，每个 token 的条件概率为：

$$ p(y_i \| y_{<i}; x, \mathbf{c}) \propto p(y_i \| y_{<i}; x) \cdot p(\mathbf{c} \| y_{\le i}, x)^{\alpha}. \quad (3) $$

因此，整体个性化文本生成概率变为：

$$ p(y \| x, \mathbf{c}) \propto \prod_{i=1}^{n} p(y_i \| y_{<i}; x) p(\mathbf{c} \| y_{\le i}, x)^{\alpha} $$

这里，$p(\mathbf{c} \| y_i, y_{<i}, x)$ 表示给定提示 $x$ 和部分生成 $y_{\le i}$ 的偏好 $\mathbf{c}$ 的可能性，由分类器模型给出。

#### 多个偏好

将上述公式推广到多个偏好是很直观的，即 $\mathbf{c}=\{c_1, \dots, c_d\}$，且 $\|\mathbf{c}\|=k$。使用独立性假设，我们有：

$$ p(y_i \| y_{<i}; x, \mathbf{c}) \propto p(y_i \| y_{<i}; x) \prod_{c_k \in \mathbf{c}} p(c_k \| y_{\le i}; x)^{\alpha_k} \quad (4) $$

其中 $\alpha=(\alpha_1, \dots, \alpha_d)$ 是控制每个偏好影响的超参数。在推理时，为了采样下一个 token，我们需要构建下一个 token 上的分布（即，对于所有 $y \in \mathcal{V}$ 的 $p(y \| y_{<i}; x, \mathbf{c})$）。这将要求我们对所有 $y \in \mathcal{V}$ 评估分类器模型，即，我们需要为所有 $y \in \mathcal{V}$ 计算 $p(\mathbf{c} \| y_{<i}, y, x)$。天真地实现这将要求我们在分类器模型上执行 $|\mathcal{V}|$ 次前向传播 (Sitdikov et al., 2022)。这会显著减慢推理过程。

### 3.3 高效的分类器建模

为了解决上述效率挑战，我们训练了一个分类器模型，能够在每一步为词汇表中的所有 token 产生分类概率。具体来说，在生成期间，分类器模型将提示 $x$ 和部分生成 $y_{<i}$ 作为输入，并输出一个矩阵 $M \in \mathbb{R}^{|\mathcal{V}| \times d}$，其中 $M_{v, c_j}$ 建模给定提示...