标签
本文研究了在多轮语言智能体场景中，自然语言反馈带来的改进是否超越了仅靠反复尝试所取得的提升。通过跨多个基准测试的受控学生-教师协议，作者发现自我生成的反馈几乎没有额外增益，而强大的外部教师则能带来显著更大的提升，并且学生根据反馈采取行动的能力是关键瓶颈。
ScholarSum是一个层次化反思图框架，用于科学文献的抽象摘要生成，模拟了师生写作过程。它利用层次化知识图谱捕获全局结构，生成初稿，并通过证据检索和类似教师的审阅迭代地优化摘要，以提高流畅性和事实忠实性。
MIT 引入了 Pedagogical RL，该方法通过惩罚令人意外的步骤来训练一个教师模型，使其为学生模型生成易于学习的轨迹，从而提高强化学习的训练效率。
描述了一种训练技术，涉及 Spike-aware 教学奖励（惩罚不合理跳跃）和 Surprisal-gated 模仿（学生快速学习简单标记，缓慢学习困难标记）。