@blc_16: 如果你想了解为什么强化学习在处理长视界智能体任务时表现不佳，这是一个很好的解释。核心问题在于……

X AI KOLs Timeline 新闻
reinforcement-learning long-horizon-agents gepa trajectory-reflection sparse-rewards

摘要

该帖子解释了强化学习因奖励稀疏而在长视界任务中遇到的困难，并介绍了 GEPA 这一方法。GEPA 利用轨迹层级的文本反思来保留更丰富的反馈信号，以优化学习过程。

如果你想了解为什么强化学习在处理长视界智能体任务时表现不佳，这是一个很好的解释。核心问题在于，稀疏奖励丢弃了轨迹中大部分有用信息。GEPA 试图直接从轨迹本身进行学习，利用文本空间中的反思，而不仅仅依赖于最终奖励进行优化。GEPA 生成对轨迹的文本批评，提出提示修改建议，然后在探索与利用之间的帕累托前沿选择更新策略。它没有将所有信息简化为一个单一的奖励数值，而是保留了更多关于运行失败原因的信息，并利用这些信息做出可解释的调整。观察人们如何将这种轨迹层级的反思与强化学习相结合——使用强化学习进行优化，同时保留关于智能体成功或失败原因的更丰富信号——将会很有趣。
查看原文

相似文章

StraTA：通过策略轨迹抽象激励智能体强化学习

Hugging Face Daily Papers

StraTA 提出了面向长期任务 LLM 智能体的策略轨迹抽象方法，通过分层 GRPO 风格的 rollout、多样化策略采样和批判性自判断机制，在样本效率和最终性能上超越了前沿模型和先前 RL 基线。