ReSAIL：缓解迭代式智能体自蒸馏中的性能坍缩

Hugging Face Daily Papers 论文
agentic-ai self-distillation privileged-information reinforcement-learning alfworld textcraft qwen3

摘要

ReSAIL 提出一种即插即用的增强方法，通过轨迹平衡选择性蒸馏与特权信息保留，缓解智能体迭代自蒸馏中的性能坍缩问题；在 ALFWorld 和 TextCraft 上使用 Qwen3-4B/8B 模型，三个部署周期后平均成功率比 SDPO/OEL 基线提升 22.5 个百分点。

迭代式自蒸馏使 LLM 智能体能够从连续的部署中学习，为递归式自我改进（RSI）提供了一条可行路径。然而，我们对现有方法的实验表明，部署性能会在多个周期中出现坍缩，而带有特权信息（PI）的任务性能同样在下降。为应对这一坍缩问题，我们在蒸馏时优先选择信息量丰富的交互步骤，并在学生模型成为下一个教师模型的过程中保留其基于 PI 的行为。我们提出了用于迭代自蒸馏的保持性与选择性增强（ReSAIL），这是一种面向迭代式 PI 自蒸馏的即插即用增强方法。ReSAIL 会选择 PI 对教师模型预测改变最强的交互步骤，并对由此产生的蒸馏损失在轨迹之间进行平衡；同时，它还会在选定与未选定的步骤上，将学生模型基于 PI 的输出分布正则化为冻结教师模型的分布，从而保留基于 PI 的行为，供下一周期的监督使用。在 ALFWorld 和 TextCraft 上，ReSAIL 在三个周期内于不同模型规模上均保持了显著增益；在自蒸馏基线上加入 ReSAIL 后，最终周期成功率平均绝对提升 22.5%。基于敏感性引导的离线数据选择，还在 AITZ 上提升了多模态 GUI 智能体的动作预测准确率。这些发现首次提供了证据，表明更稳健的学习机制能够有效缓解智能体在部署轨迹上的迭代自蒸馏中出现的性能坍缩。
查看原文
查看缓存全文

缓存时间: 2026/10/08 12:30

论文页面 - ReSAIL：缓解智能体迭代自蒸馏中的能力坍缩

Source: https://huggingface.co/papers/2609.39306

智能体能否通过从自身的部署经验中蒸馏持续提升？在我们的实验中，现有的自蒸馏方法在跨越多个循环时，既会损失部署性能，也会损失带有特权信息（PI）的任务能力。这一点至关重要，因为今天的学生就是明天的老师。

ReSAIL 是一种即插即用的增强方法，包含两个互补的组件：

  • 轨迹平衡的选择性蒸馏： 优先处理特权信息对教师预测改变最大的交互步骤，并平衡各轨迹之间的损失。
  • 特权保留： 保持学生基于特权信息条件下的行为，以支持下一个循环中的监督。

使用 Qwen3-4B 和 Qwen3-8B，ReSAIL 在 ALFWorld 和 TextCraft 上的增益持续跨越了三个部署循环。在第 3 个循环时，与对应的 SDPO/OEL 基线相比，它在两个模型规模和三种评估设置（ALFWorld ID/OOD 和 TextCraft）上，平均提升了 22.5 个百分点的成功率。

代码、训练/评估脚本以及模型检查点（https://huggingface.co/collections/HuggingJin/resail）均已公开。欢迎交流讨论该方法、实验结果及其局限性！

相似文章

通过特权回顾蒸馏实现自我进化智能体

arXiv cs.LG

Meta AI 提出 Retrospective Self-Distillation (RSD)，一个利用特权回顾性上下文让模型对自身动作重新打分并回灌策略的多轮自进化框架，在 ALFWorld、ScienceWorld 和 SearchQA 上相对基线提升最高 59.7%。

PEARL：面向多轮智能体的过程经验感知强化学习

arXiv cs.AI

PEARL提出了一种面向多轮智能体的强化学习方法，通过分支轨迹的首次分歧点构建局部决策特征，并利用成功/失败记忆聚类识别重复模式，从而在不引入额外价值评估器的情况下改进信用分配。在AppWorld和ALFWorld基准上，PEARL在4B和8B规模模型上均超越了ARPO等基线，ALFWorld 4B达到97.9%成功率。

AgentOPSD：智能体强化学习中的递归自蒸馏

Hugging Face Daily Papers

AgentOPSD 提出了一种无评论家的递归方法，用于智能体强化学习中的回合级信用分配，通过在 log-odds 空间中进行贝叶斯信念更新来重新加权结果。它在 ALFWorld 上使用 Qwen2.5-7B 达到了 89.1% 的成功率，优于 GRPO 和自蒸馏基线。