偏好后训练中多样成功轨迹的直接多样性优化

# 通过偏好后训练实现多样化成功轨迹的直接多样性优化  
来源：https://arxiv.org/html/2609.10052  

###### 摘要  
用于序列决策任务的大语言模型智能体通常通过轨迹级结果标签进行后训练，但此类标签对于从同一决策状态保留多个成功分支所提供的监督有限。我们将此问题研究为成功策略覆盖：即在固定推演预算下，模型实现多样化成功策略的广度。我们提出直接多样性优化（Direct Diversity Optimization，DDO），这是一种离线后训练方法，结合了分歧树收集（Divergence-Tree Collection，DTC）与参考相对目标优胜比目标（Reference-Relative Target-Odds Objective，RTO）。DTC构建以共享决策状态为根的状态对齐分支集，RTO训练模型以匹配对成功替代方案的参考相对目标。DDO在BabyAI、BabaIsAI和WebShop等任务中，在所比较的后训练方法里实现了最强的任务成功率和成功策略覆盖。它还在局部动作替换后实现了最高的恢复率，并在仅成功模仿和解码时多样化控制方法中实现了更高的任务成功率和覆盖。  

## 1 引言  
近期关于大语言模型（LLMs）的研究通常通过后训练将预训练模型适配到下游任务。相同的方法现在也被应用于序列决策任务中的LLM智能体，例如网络导航、具身控制和工具使用。在这些任务中，密集的逐步监督很少可用，后训练通常依赖于轨迹级的成功或失败反馈。在这种粗糙的监督下，标准后训练倾向于缩窄模型的输出分布。在序列决策任务中，这种缩窄可能导致策略坍缩到单一成功轨迹，即使仍有多个可行的替代方案存在。  

图1：一个在线购物的激励示例：标准后训练的模型A通过单一轨迹完成购买，而模型B保留了多个成功轨迹，可在条件变化时作为备选。图1展示了一个在线购物任务中的坍缩现象，其中LLM智能体必须在价格约束下购买笔记本电脑充电器。标准后训练的模型（模型A）专注于单一品牌页面轨迹，而训练为保留多个成功轨迹的模型（模型B）则能通过不同的搜索、筛选和比较策略成功。两个模型在正常条件下均成功。当品牌页面轨迹被阻塞时，模型A没有备选方案，而模型B保留了通向成功的替代路径。模型A和B之间的对比突显了标准偏好后训练的一个局限：它缺乏针对替代分支的状态对齐监督。轨迹级成功标签识别出成功轨迹，但未展示同一决策状态下替代动作的结果。因此，基于成功-失败轨迹偏好的DPO式训练虽能区分成功与失败轨迹，但未提供明确目标来分配从同一状态出发的多个成功分支上的概率。因此，学习到的策略容易将大部分概率质量置于一个成功分支上，留给其他替代方案的很少。  

为解决此局限，我们提出直接多样性优化（DDO），这是一种离线后训练方法，将数据构建过程与参考相对优化目标相结合。给定一条成功源轨迹，分歧树收集（DTC）恢复一个中间决策状态，并构建一个包含源分支和替代分支的结果标记分支集。参考相对目标优胜比（RTO）用成功分支上的参考相对目标分布取代单一优胜者偏好目标，并训练模型匹配其诱导的成对优胜比。DTC和RTO共同将轨迹级结果转换为从同一决策状态出发的多个成功替代方案的偏好监督。  

我们在BabyAI、BabaIsAI和WebShop上评估DDO，这些基准涵盖了导航、物体交互、多阶段指令遵循、规则操作和网络交互。在所有三个基准中，DDO在所比较的后训练方法中实现了任务成功率和成功策略覆盖的最强联合性能。这些提升也转化为局部动作替换后更稳健的恢复。DDO还在仅成功模仿和解码时多样化控制方法中实现了更高的任务成功率和覆盖。组件分析表明DTC和RTO扮演互补角色，二者的结合产生了最大的联合增益。  

## 2 相关工作  
### 2.1 多样性感知与平局感知后训练。  
基于偏好或奖励的后训练现已成为使用反馈适配LLMs的标准机制。然而，它也被证明会缩窄训练模型的输出分布：Kirk等（2024）和Padmakumar与He（2024）报告RLHF和DPO相对于基础模型降低了输出多样性，而Slocum等（2025）表明KL正则化偏好学习可能放大主导偏好。为缓解这种坍缩，近期方法在偏好信号中保留多个可接受的响应。DivPO通过多样性感知的偏好更新鼓励多样化首选响应，而平局感知DPO变体允许同等偏好的响应被建模为平局，而非强制任意的胜者-败者方向。这些方法减少了将可接受输出坍缩为单一模式的压力，但它们在提示-响应或成对比较层面操作。  

相关目标在强化学习中已被长期研究：最大熵RL鼓励随机高回报行为，而技能发现和质量-多样性方法学习不同的技能或策略库。DDO针对顺序LLM智能体的离线偏好后训练，使用状态对齐的结果标记分支和参考相对目标来保留多个观测到的成功分支。  

### 2.2 面向顺序任务的LLM后训练。  
基于偏好的后训练已通过分支推演或逐步反馈扩展到顺序决策任务。偏好链优化从替代推理轨迹构建偏好数据，而ETO在轨迹层面比较成功和失败的探索轨迹。其他方法提供逐步信号：IPR沿专家轨迹构建逐步对比对，而AgentPRM训练一个过程奖励模型以评估逐步进展。在这些方法中，监督信号主要区分较好与较差的轨迹或步骤。当同一状态的多个分支成功时，它们未被明确建模为一组有效替代方案；它们通常与失败配对、纳入独立比较或由进展信号评分。DDO使用决策状态下的标记分支集作为监督单元。它保留多个成功分支作为有效正例，同时将它们与失败分支区分开，而不对成功分支强制任意排序。这直接将多样性保留与任务成功耦合。  

图2：DDO流程。DTC构建状态对齐分支集，RTO定义参考相对目标分布，其诱导的成对目标通过软逻辑目标进行优化。  

## 3 方法  
我们介绍直接多样性优化（DDO），这是一种离线后训练方法，用于在从轨迹级结果标签训练的LLM智能体中保留多个成功策略。DDO将分歧树收集（DTC；第3.2节）与参考相对目标优胜比目标（RTO；第3.3节）相结合。DTC构建带有推演结果标签的状态对齐分支集，RTO训练模型以匹配对成功分支的参考相对目标。这种耦合将轨迹级结果监督转换为同状态分支比较和成功替代方案上的目标分布。图2总结了该流程。  

### 3.1 问题设置与符号  
我们解决具有文本观察和可执行动作的顺序决策任务中LLM智能体的后训练问题。在每个步骤t，智能体观察文本状态x_t，该状态包含当前观察和最近的交互历史，并产生输出y_t；环境执行从y_t解析出的动作以产生下一个状态。轨迹τ=(x_0, y_0, ..., y_{T-1}, x_T)仅在终止时被判定，接收由环境提供的二元结果R(τ)∈{0,1}。此轨迹级信号是唯一的监督；不假设逐步奖励或学习到的奖励模型。我们将可训练模型记为π_θ(y|x)，冻结的参考模型记为π_ref(y|x)。  

### 3.2 分歧树收集  
DTC接受一条成功轨迹，并在选定的决策步骤产生以共享状态为根、带有推演结果标签的分支集。对于源轨迹τ，候选分歧步骤是内部决策点1,...,|τ|-1。在固定收集预算下，DTC选择分歧步骤以覆盖源轨迹的不同深度，使分支根沿轨迹分布，而非集中在其初始前缀附近。在每个选定的分歧步骤，DTC恢复对应的决策状态作为共享状态x（算法1）。它将源输出保留为一个分支，并查询专家模型以获得替代输出，其解析动作与源动作不同。每个保留的输出由专家模型执行至终止并接收二元成功标签。如果状态无法恢复或未获得不同的有效替代方案，DTC跳过该状态。  

算法1 分歧树收集（DTC）。Select、Restore、Alt和Reject的实现细节见附录B.2。  
1：输入：成功源集T^+、专家模型E、预算K_d, K_a  
2：输出：DTC记录集D_{DTC}  
3：D_{DTC} ← ∅  
4：对τ∈T^+执行  
5：  D ← Select({1,...,|τ|-1}, K_d)  
6：  对d∈D执行  
7：    x ← Restore(τ, d)  
8：    如果x = ⊥则继续  
9：    B ← {j_{src}}，y_{j_{src}} ← y_d^τ，r_{j_{src}} ← 1  
10：   Y ← Alt(E, x, y_d^τ, K_a)  
11：   对y∈Y执行  
12：     如果Reject(y, B)则继续  
13：     r ← R(Rollout(E, x, y))  
14：     将新的j添加到B，其中(y_j, r_j) ← (y, r)  
15：   如果B ≠ {j_{src}}则  
16：     将Record(x, B)添加到D_{DTC}  
17：返回D_{DTC}  

每个收集的分支集表示为一个DTC记录：C=(x, B, {(y_j, r_j)}_{j∈B})。这里x是共享决策状态，B是有限分支索引集，y_j是分支j的LLM输出，r_j∈{0,1}是执行该分支后获得的二元结果。对于每个记录，我们将B划分为成功分支S^+={j: r_j=1}和不成功分支S^0={j: r_j=0}。RTO使用S^+进行目标优胜比估计，使用S^0进行成功与观测到的不成功分支之间的边界比较。  

### 3.3 参考相对目标优胜比目标  
将单一优胜者与单一败者对比的成对偏好目标使用硬二元标签，这有使π_θ坍缩到单一成功策略的风险。参考相对目标优胜比（RTO）目标通过将π_θ分配给成功分支对的对数优胜比与固定分布q在S^+上规定的对数优胜比对齐来解决此问题。对于每个记录C=(x, B, {(y_j, r_j)}_{j∈B})，RTO从π_ref构建q，并以参考相对形式匹配两个对数优胜比，将π_θ相对于π_ref的偏移与q相对于q_ref的偏移对齐。两种对类型被不对称处理：成功-成功对使用q设定S^+内所需的对数优胜比，而跨S^+和S^0的成功-失败对使用任务成功标签将成功分支排序在失败分支之上。  

#### 分支分布。  
在S^+上，定义重归一化的参考分布q_ref为：  
q_ref(j) = π_ref(y_j|x) / ∑_{h∈S^+} π_ref(y_h|x)。  
分布q定义为：  
q(j) = q_ref(j)^α / ∑_{h∈S^+} q_ref(h)^α。