标签
提出Experience Distillation方法,该方法将在智能体交互历史中通过上下文学习获得的增益内化到模型权重中,无需额外的环境交互,在软件工程和文字冒险任务上实现了显著的样本效率提升。
本文将上下文蒸馏表述为一个潜在记忆管理问题,提出一个框架,将蒸馏后的上下文存储为独立的LoRA适配器,并通过检索、路由和自门控机制来提高鲁棒性和效率。