HyperTrace：面向在线LLM个性化的基于假设偏好追踪

# 基于假设的偏好追踪：实现大语言模型在线个性化  
来源：https://arxiv.org/html/2609.09835  
Keyu Mao  
隶属机构：东京科学研究所  
Minghao Shao  
隶属机构：纽约大学坦登工程学院  
隶属机构：纽约大学阿布扎比分校  
Chuanyang Jin  
隶属机构：约翰斯·霍普金斯大学  
Yusong Wang  
隶属机构：东京科学研究所  
Ailiang Lin  
隶属机构：东京科学研究所  
Kotaro Funakoshi  
隶属机构：东京科学研究所  
Manabu Okumura  
隶属机构：东京科学研究所  
Tianmin Shu  
隶属机构：约翰斯·霍普金斯大学  
Muhammad Shafique  
隶属机构：纽约大学阿布扎比分校  
\*同等贡献。通讯作者。  
通讯邮箱：[muhammad\.shafique@nyu\.edu](mailto:[email protected])  

#### 摘要  
个性化语言模型旨在为不同用户定制回复，其偏好往往是隐性的，并在交互中逐渐显现。现有的无需训练方法依赖于存储的历史记录或检索的记忆，但常常难以调和长期偏好与短期特定主题需求之间的矛盾。为解决此问题，我们提出了**HyperTrace**——一个无需训练的框架，它将在线个性化问题构建为隐式偏好追踪任务。**HyperTrace**维护关于短期意图和长期偏好的可解释的自然语言假设，并通过基于大语言模型的代理选择模型，利用序列蒙特卡洛（SMC）式的重加权过程对这些假设进行更新。通过在对话轮次和会话间更新这些假设，**HyperTrace**无需参数更新即可实现个性化。在PRISM和PersonaMem-v2数据集上的实验表明，与强大的在线基线方法相比，**HyperTrace**提升了回复对齐度、偏好预测准确度和个人资料一致性，证明了追踪隐式用户偏好对于实现稳健个性化的有效性。代码与脚本已发布于：https://github.com/jiseshen/HyperTrace。

## 1 引言  
个性化对于大语言模型（LLM）在人机协作中成为有效伙伴至关重要（Tseng等，2024；Liu等，2025a；Zhang等，2025c；Xie等，2025；Guan等，2025）。用户在目标、偏好和期望上存在差异，这些差异在重复交互中逐渐显现。因此，有效的个性化必须在保持跨用户可扩展性的同时持续适应。现有方法大致可分为两类。基于训练的方法通过学习用户表示（Qiu等，2025a；Ning等，2025；Liu等，2025b）、参数高效微调（PEFT）（Zhang等，2024；Tan等，2024）或强化学习（Jang等，2024；Poddar等，2024；Jin等，2025；Liang等，2026）实现强个性化，但计算开销较大且依赖白盒模型，限制了其适用性。相比之下，推理级方法避免参数更新，而是根据历史交互的摘要（Wang等，2023；Garbacea和Tan，2025）或记忆机制（Salemi等，2024b；Zhong等，2024；Zhang，2024）来调整生成过程。虽然可扩展性更强，但它们通常将用户信息表示为非结构化文本或检索的示例，可解释性有限，且在观察到的交互之外泛化能力较弱。

> 图注 1：从存储用户历史到追踪用户偏好。现有的无需训练的个性化方法将交互压缩为个人资料（左）或检索相关记忆（中）。**HyperTrace**则维护关于短期意图和长期偏好的可解释假设（右），从而能够从用户反馈中进行持续且可解释的适应。

我们相反地将个性化构建为受心智理论（theory of mind）启发的隐式推断问题（Kim等，2025）。我们将用户交互视为对捕获模型行为目标、偏好和期望等隐变量的观测。因此，用户个人资料由关于底层意图的若干假设表示，而非适应的参数或存储的对话轨迹。为处理序列性、稀疏性和噪声信号，我们采用基于自然语言假设的序列蒙特卡洛（SMC）式过程。每个粒子代表对用户意图的一种候选解释，反馈根据基于LLM的选择观测代理模型改变其权重。随着证据的累积，加权粒子集保留多个竞争性解释。我们进一步将假设组织为层次结构：低层部分捕获短期、特定主题的意图以实现快速适应，而高层部分整合稳定的长期偏好。与基于训练的个性化方法相比，我们的方法避免了参数更新，并可扩展到黑盒端点。与基于记忆的方法相比，它保留了多个可解释的偏好解释，并具有可追踪的证据累积过程。在生成阶段，汇总的用户个人资料调整模型以产生用户特定的回复。

我们在基于PRISM（Kirk等，2024）和PersonaMem-v2（Jiang等，2025b）的在线个性化设置中评估我们的框架。评估涵盖回复对齐度、偏好预测和个人资料一致性，直接衡量提取的个人资料在多大程度上指示用户选择，以及其调整后的输出是否趋向于用户特定偏好。结果显示，与基于摘要和记忆的基线方法相比，其性能更强、更稳健。因此，我们的贡献有两方面：  
- • 我们引入了一个相对回复对齐度分数，并从多元对齐数据集构建了一个在线个性化评估框架，涵盖回复级适应、偏好预测和个人资料一致性。  
- • 我们提出了一个无需训练的隐式偏好推断框架，该框架在代理选择模型下使用SMC式重要性加权，维护可解释的短期和长期偏好假设，无需参数更新。

## 2 相关工作  
### 2.1 LLM个性化评估  
个性化基准测试通过要求模型以特定用户的历史记录、偏好或交互轨迹为条件，将LLM评估扩展到通用指令遵循之外。现有基准涵盖用户条件分类、检索、推荐、生成、长期对话记忆、动态个人资料、隐式偏好和多会话交互历史（Salemi等，2024b；Zollo等，2025；Wu等，2025；Jiang等，2025b；Zhao等，2025；Jiang等，2025a；Jin等，2026）。偏好反馈数据集通过用户特定选择或对候选回复的现场反馈进一步揭示异质的人类偏好（Kirk等，2024；Castricato等，2025；Shi等，2024）。这些基准提供了互补的评估信号，包括任务标签、选定的候选、参考回复和奖励模型分数（Salemi等，2024b；Jiang等，2025b；Dong等，2024；Zollo等，2025）。我们的评估建立在这一脉络之上，将多元偏好数据转换为在线个性化设置，并测量回复对齐度、偏好预测和个人资料一致性。

### 2.2 LLM个性化方法  
一类方法通过基于训练的适应实现LLM个性化。这些方法学习用户表示（Qiu等，2025a；Ning等，2025；Liu等，2025b）、PEFT模块（Zhang等，2024；Tan等，2024），或基于奖励建模、RLHF或用户反馈的个性化后训练目标（Jin等，2025；Jang等，2024；Poddar等，2024；Liang等，2026）。相关工作还研究了学习记忆构建、群组级个性化、黑盒兼容的外部模块以及摊销或元学习机制（Magister等，2025；Zhang等，2025a；Zhuang等，2024；Tan等，2025；Jiang等，2025b）。另一类方法在推理时执行个性化，无需更新基础模型。现有方法将用户历史总结为自然语言配置文件或个性化提示（Zhang，2024；Richardson等，2023；Li等，2024；Qiu等，2025b；Wang等，2023；Garbacea和Tan，2025），检索相关用户历史或优化检索的上下文以进行个性化生成（Salemi等，2024b；Salemi等，2024a），并跨会话维护持久的用户记录或长期记忆（Zhong等，2024；Madaan等，2022；Dalvi Mishra等，2022）。解码时引导提供了另一种高效的途径，但需要控制采样过程（Chen等，2025；Zhang等，2025b）。**HyperTrace**最接近推理时个性化，但它将用户信息表示为加权的自然语言假设集，而非单一的个人资料、检索的上下文或记忆状态。其更新与贝叶斯假设过滤（Kim等，2025）相关，但专注于从用户选择中追踪可操作的偏好信号。

> 图注 2：**HyperTrace**交织的适应–评估循环概述。在适应阶段，携带偏好的轮次经过门控并压缩为全局上下文，用于检索或提议（如不适用）会话级假设。通过估计假设条件效用并将其转换为代理Bradley–Terry选择分数来细化和过滤工作信念。自适应粒子维护通过有效样本量触发重采样，并扰动检测到的相似组，以防止信念坍缩。在会话结束时，信念被整合到长期记忆中并总结为个人资料。在评估阶段，个人资料作为全局上下文，保留的交互用于测量回复对齐度、偏好预测和个人资料一致性。

## 3 预备知识  
我们将个性化聊天机器人交互建模为一个会话序列，其中活动用户的偏好是隐式的且依赖于上下文。在会话 \(s\) 开始时，用户的当前需求 \(r_s\) 从其更广泛的兴趣空间中采样，诱导出特定于会话的偏好状态 \(z_s\)：

\[
r_s \sim p(r \mid u), \quad z_s \sim p(z \mid u, r_s).
\]

(1)

这捕捉了这样一个直觉：同一用户在不同意图下可能偏好不同的响应风格。例如，与代码相关的查询青睐直接且可操作的答案，而开放式的日常问题则青睐更广泛和更具吸引力的响应。在会话内，用户通过交互反馈揭示偏好。给定查询 \(x_t\) 和候选集 \(C_t = \{c_{t,1}, \ldots, c_{t,m}\}\)，Bradley–Terry模型为用户的选择提供了一个方便的观测模型：

\[
P(a_t = i \mid x_t, C_t, z_s) = \frac{\exp\left(U_{x_t, z_s}(c_{t,i})\right)}{\sum_j \exp\left(U_{x_t, z_s}(c_{t,j})\right)}.
\]

(2)

此处，\(U_{x_t, z_s}(c)\) 表示在当前查询和隐式偏好状态下候选 \(c\) 的效用。如果该效用和关于 \(z_s\) 的先验已知，则后验偏好信念将满足：

\[
p(z_s \mid \mathcal{D}_{1:t}) \propto p(z_s) \prod_{\ell=1}^{t} P(a_\ell \mid x_\ell, C_\ell, z_s),
\]

(3)

其中 \(\mathcal{D}_{1:t}\) 表示观测到的反馈历史。

## 4 方法论  
表 1：**HyperTrace** 公式中使用的符号。

### 4.1 HyperTrace  
**HyperTrace** 使用一组 \(K\) 个加权的自然语言假设来表示可能的偏好状态 \(z_s\)。每个假设描述了用户当前偏好的一种可能解释，例如偏好简洁的实现细节、更广泛的概念解释或更谨慎的措辞。在轮次 \(t\)，工作信念为 \(\mathcal{B}_t = \{(h_t^{(k)}, w_t^{(k)})\}_{k=1}^K\)。

(4)

归一化权重根据其诱导的选择分数解释观测反馈的程度对维护的解释进行排序，同时保留合理的替代方案。

#### 4.1.1 会话内信念更新  
如图 2 所示，信念更新包括四个步骤。**细化**将假设调整为新证据。**过滤**根据观测反馈对每个假设进行评分。**重采样**保留具有更大相对支持度的假设。**扰动**引入不同的偏好轴以避免过早坍缩。

在每个过滤步骤中，**HyperTrace** 根据每个假设预测用户观测选择的程度更新假设权重。对于每个假设 \(h_t^{(k)}\)，我们提示LLM通过对每个候选回复进行评分来近似用户的效用函数：

\[
\hat{U}_{x_t, h_t^{(k)}}(c_{t,i}) = f_\theta(x_t, c_{t,i}, h_t^{(k)}).
\]