论文页面 - 潜在在策略自蒸馏

来源：https://huggingface.co/papers/2608.13040 发布于 8月13日

·

由 https://huggingface.co/greeky 提交

gbz (https://huggingface.co/greeky) 于 8月17日

摘要

潜在在策略自蒸馏通过端到端地从经验中学习特权教学上下文，提供密集的令牌级监督，从而提升智能体的性能和效率。

使智能体能够从经验中学习并将其内化为自身策略，已成为自我进化人工智能的核心问题。在策略自蒸馏（https://huggingface.co/papers?q=On-policy%20self-distillation） (OPSD) 通过使用特权自教师（https://huggingface.co/papers?q=privileged%20self-teacher）为学生自身的轨迹提供密集监督，提供了一条有效途径；然而，现有方法仍然严重依赖设计师指定的特权工件（例如答案、反馈、技能或轨迹），限制了实现持续自我改进所需的端到端可学习性和可扩展性。在本工作中，我们引入了潜在在策略自蒸馏（https://huggingface.co/papers?q=On-Policy%20Self-Distillation） (LOPD)，它并非提出另一种具有新指定形式特权上下文的经过手工设计的 OPSD 变体，而是使教师的特权上下文本身能够端到端地从经验中学习。技术上，LOPD 检索相关经验并将其组合成连续的潜在令牌（https://huggingface.co/papers?q=latent%20tokens）来调节自教师，而学生则从任务和交互历史中生成轨迹，并在每个访问过的前缀处接收密集的令牌级监督（https://huggingface.co/papers?q=token-level%20supervision）。我们进一步引入了特权边际目标（https://huggingface.co/papers?q=privileged-margin%20objective）以稳定和调控潜在上下文的学习。实证表明，LOPD 展示了 (I) 强劲的性能，在智能体工具使用和代码生成任务中均超越了 RLVR（https://huggingface.co/papers?q=RLVR）和包括 OPSD、SDPO（https://huggingface.co/papers?q=SDPO）以及 Skill-SD（https://huggingface.co/papers?q=Skill-SD）在内的代表性 OPSD 方法；以及 (II) 高学习效率，仅使用不到 30% 的展开预算就超越了 GRPO（https://huggingface.co/papers?q=GRPO）和 Skill-SD（https://huggingface.co/papers?q=Skill-SD）。消融研究进一步提供了直接证据，证明使特权上下文可学习对于实现这些收益是必要的。总之，这些结果将 LOPD 定位为迈向更可扩展、更自主的智能体进化范式的一步。

查看 arXiv 页面 (https://arxiv.org/abs/2608.13040) 查看 PDF (https://arxiv.org/pdf/2608.13040) GitHub20 (https://github.com/bingreeky/LOPD) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2608.13040)

在智能体中获取本文档：

hf papers read 2608.13040

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文档的模型 2

liunanfu1992/Qwen3-8B-LOPD 8B • 3天前更新 • 35 • 1 (https://huggingface.co/liunanfu1992/Qwen3-8B-LOPD)

liunanfu1992/OLMo-3-7B-Think-LOPD 7B • 3天前更新 • 36 (https://huggingface.co/liunanfu1992/OLMo-3-7B-Think-LOPD)

引用本文档的数据集 0

没有关联此论文的数据集

在数据集 README.md 中引用 arxiv.org/abs/2608.13040，即可从本页面链接它。

引用本文档的 Spaces 0

没有关联此论文的 Space

在 Space README.md 中引用 arxiv.org/abs/2608.13040，即可从本页面链接它。

包含本文档的收藏夹 1