论文页面 - ActionOPD：蒸馏决策，而非Token

来源：https://huggingface.co/papers/2610.19820

摘要

将强大的语言模型智能体蒸馏到更小的模型中，需要对齐学生模型与教师模型的行为。这引出了一个核心问题：应在哪些状态上、以何种粒度进行这种对齐？离线模仿提供稠密但仅限token级别的监督，且可能遭受状态分布不匹配的问题。Token级别的在线策略蒸馏（OPD）解决了这一不匹配问题，但通常需要教师模型的token概率分布以及兼容的分词器。我们认为，语义动作（semantic action）为智能体蒸馏提供了一种自然的监督单元。我们提出了ActionOPD，一种动作级别的在线策略蒸馏方法，其核心动机是在学生模型所访问的状态上最大化教师动作的期望似然。在每个这样的状态上，ActionOPD分别从学生模型和一个黑盒教师模型中采样动作，并根据学生动作与采样教师动作之间的语义一致性给予奖励。通过策略优化，ActionOPD在不要求复现教师撰写的推理过程、也不需要访问教师token概率的情况下，将学生的动作级别行为与教师的决策对齐。我们在多样化的精选工具使用任务上，以两个教师模型训练Qwen3-4B和Qwen3-8B，在四个分布外（out-of-distribution）基准测试上平均获得了3.3至6.9个百分点的提升。ActionOPD在学生模型规模和教师模型能力方面均表现出良好的可扩展性，且不要求教师和学生共享同一模型系列或分词器。在τ²-bench上，ActionOPD取得了与离线蒸馏和Token级别OPD相当的性能。我们还进一步探索了使用同模型教师和特权上下文的Self-ActionOPD。这些结果确立了ActionOPD作为智能体蒸馏一种有前景的方法。

查看 arXiv 页面 查看 PDF 项目页面 GitHub 添加到收藏

在您的智能体中获取此论文：

hf papers read 2610.19820

没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型：0

暂无模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2610.19820，即可从此页面关联该论文。

引用此论文的数据集：0

暂无数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.19820，即可从此页面关联该论文。

引用此论文的 Spaces：1

包含此论文的收藏：0

暂无收藏包含此论文

将此论文添加到收藏，即可从此页面关联该论文。