StraTA：通过策略轨迹抽象激励智能体强化学习

Hugging Face Daily Papers 论文
reinforcement-learning llm-agents trajectory-abstraction hierarchical-rl sample-efficiency long-horizon

摘要

StraTA 提出了面向长期任务 LLM 智能体的策略轨迹抽象方法，通过分层 GRPO 风格的 rollout、多样化策略采样和批判性自判断机制，在样本效率和最终性能上超越了前沿模型和先前 RL 基线。

大型语言模型（LLM）越来越多地被用作交互式智能体，但优化它们进行长期决策仍然困难，因为当前方法大多纯粹是反应式的，这削弱了在长轨迹上的探索和信用分配。在这项工作中，我们提出了策略轨迹抽象（StraTA），这是一个简单的框架，将显式的轨迹级策略引入智能体强化学习（RL）。StraTA 从初始任务状态中采样一个紧凑的策略，后续行动基于该策略，并通过分层 GRPO 风格的 rollout 设计联合训练策略生成和行动执行，进一步通过多样化策略 rollout 和批判性自判断增强。在 ALFWorld、WebShop 和 SciWorld 上的实验表明，StraTA 在样本效率和最终性能上都持续优于强基线。StraTA 在 ALFWorld 上达到了 93.1% 的成功率，在 WebShop 上达到了 84.2%。在 SciWorld 上，StraTA 获得了 63.5% 的总体得分，超过了前沿的闭源模型。
查看原文 导出为 Word 导出为 PDF
查看缓存全文

缓存时间: 2026/05/08 18:28

论文页面 - StraTA: Incentivizing Agentic Reinforcement Learning with Strategic Trajectory Abstraction

Source: https://huggingface.co/papers/2605.06642 大家好！👋 分享我们最新的工作：StraTA：通过战略轨迹抽象激励智能体强化学习。

长视界 LLM 智能体应该保持纯粹反应式吗？我们认为不应该。当智能体必须仅从当前状态同时决定即时动作和整体行动路线时，规划与执行会纠缠在一起——探索和信用分配也会受损。

我们的解决方案：StraTA 从初始状态中采样一个紧凑的自然语言策略，并将所有后续动作条件化于该策略。我们使用层次化的 GRPO 风格 rollout 来联合训练这两个层级，并通过多样化的策略采样和关键的自我判断来增强。

它有效吗？StraTA 提升了样本效率和最终性能，超越了前沿闭源模型和先前 RL 基线。

我们相信 StraTA 凸显了显式轨迹级抽象对于更结构化、更有效的长视界智能体强化学习的价值。

相似文章

Stratagem：通过轨迹调制博弈自博弈学习可迁移推理

Hugging Face Daily Papers

# 论文页面 - Stratagem：通过轨迹调制博弈自博弈学习可迁移推理 来源：[https://huggingface.co/papers/2604.17696](https://huggingface.co/papers/2604.17696) 作者：,,,,,,,,,, ## 摘要 STRATAGEM 通过引入推理可迁移性系数与演化奖励，鼓励抽象、跨领域模式而非博弈专用启发式，从而解决语言模型推理迁移受限的问题。博弈为开发通用推理能力提供了极具吸引力的范式。

SPS：通过概率挤压引导实现大语言模型强化学习中的更优探索

arXiv cs.CL

研究人员提出了 SPS（概率挤压引导），这是一种结合强化学习与逆强化学习的训练范式，旨在解决大语言模型推理训练中的概率挤压问题。该问题表现为概率质量过度集中于高奖励轨迹，导致探索空间受限及多样本性能（Pass@k）下降。在五个推理基准上的实验表明，该方法有效提升了模型的探索能力与 Pass@k 指标。

用于分层强化学习的随机神经网络

OpenAI Blog

OpenAI 研究人员提出了一个使用随机神经网络进行分层强化学习的框架,该框架通过代理奖励引导预训练有用的技能,然后利用这些技能在稀疏奖励或长期视界的下游任务中加速学习。

面向长视界语言智能体的里程碑引导策略学习

arXiv cs.CL

本文介绍了 BEACON，这是一种旨在改善长视界语言智能体的信用分配和采样效率的里程碑引导策略学习框架。在 ALFWorld、WebShop 和 ScienceWorld 等基准测试上，该框架表现出显著优于 GRPO 和 GiGPO 的性能提升。