论文页面 - 分支式同策略蒸馏

来源：https://huggingface.co/papers/2610.13481

摘要

同策略蒸馏(OPD)在学生生成的轨迹上提供教师监督，但单条轨迹在每个决策点只实现一种后续路径，因此在有限的采样预算下，监督覆盖范围受到限制.我们提出BranchOPD(分支式同策略蒸馏)，它利用学生的不确定性和教师-学生之间的分歧来选择具有信息价值的决策点，从共享前缀出发重新采样学生策略的后续路径，并对主轨迹和分支都施加词元级教师监督.BranchOPD在数学任务中作用于词元级决策，在智能体任务中作用于轮次内决策.与七条独立轨迹相比，共享前缀复用使ALFWorld和WebShop上的学生生成词元成本分别降低约19%和31%.我们还引入了协议边界修复(PBR)，它在协议约束下利用针对性监督来缓解重复和无效生成.BranchOPD在所有评估基准上均优于VanillaOPD和Multi-RolloutOPD(n=7)，相较于VanillaOPD，其在16个采样答案上的平均数学准确率(avg@16)提高了18.55个百分点，ALFWorld分布内/分布外(ID/OOD)平均成功率提高了13.8个百分点.机制分析和选择策略消融实验表明，在不确定的决策点进行分支可扩大后续行为的覆盖范围，并且优于随机选择和轮次起始位置分支.

查看arXiv页面 (https://arxiv.org/abs/2610.13481)查看PDF (https://arxiv.org/pdf/2610.13481)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.13481)

在你的智能体中获取这篇论文：

hf papers read 2610\.13481

还没有最新版CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

没有模型链接到这篇论文

在模型的README.md中引用arxiv.org/abs/2610.13481，即可从此页面链接到该模型.

引用这篇论文的数据集0

没有数据集链接到这篇论文

在数据集的README.md中引用arxiv.org/abs/2610.13481，即可从此页面链接到该数据集.

引用这篇论文的Space0

没有Space链接到这篇论文

在Space的README.md中引用arxiv.org/abs/2610.13481，即可从此页面链接到该Space.

包含这篇论文的合集0

没有合集包含这篇论文

将这篇论文添加到合集 (https://huggingface.co/new-collection)，即可从此页面链接到该合集.