论文页面 - 策略与世界建模联合训练用于语言智能体

来源：https://huggingface.co/papers/2606.02388

作者：

,

,

,

,

,

,

,

,

,

,

摘要

PaW 是一个联合训练框架，通过利用基于策略的强化学习采样数据，结合策略学习与世界建模，在不增加额外计算开销的情况下提升语言智能体训练效果。

强化学习 (https://huggingface.co/papers?q=Reinforcement%20learning) (RL) 通过教导大型语言模型 (LLM) 智能体哪些行动能获得高奖励来提升其性能，但很少监督这些行动对环境造成的影响。世界建模 (https://huggingface.co/papers?q=World%20modeling) (WM) 可以弥补这一不足，然而现有方法通常需要单独的模拟器、额外的训练阶段或额外的推理时计算。我们观察到，基于策略的 RL (https://huggingface.co/papers?q=on-policy%20RL) 采样数据已经包含了所需信号：每一次转移都将一个行动与其产生的下一个观测结果配对。基于此观察，我们提出了 PaW，一个策略与世界建模 (https://huggingface.co/papers?q=World%20modeling) 联合训练框架，在 RL 过程中为同一策略添加辅助的 WM 监督，且不改变推理范式。为了使辅助 WM 监督更具信息性和稳定性，PaW 引入了三个组件：基于行动熵的 WM 数据选择、噪声容忍的 WM 损失函数，以及奖励自适应的损失平衡 (https://huggingface.co/papers?q=reward-adaptive%20loss%20balancing)。在三个智能体任务基准上的实验表明，该方法在多种模型和 RL 算法上均优于强 RL 基线。这些结果表明，标准的 RL 采样数据是语言智能体训练中实用的 WM 监督来源。

查看 arXiv 页面 (https://arxiv.org/abs/2606.02388)查看 PDF (https://arxiv.org/pdf/2606.02388)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.02388)

在您的智能体中获取此论文：

hf papers read 2606\.02388

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用该论文的模型0

没有模型链接此论文

请在模型 README.md 中引用 arxiv.org/abs/2606.02388 以从此页面链接。

引用该论文的数据集0

没有数据集链接此论文

请在数据集 README.md 中引用 arxiv.org/abs/2606.02388 以从此页面链接。

引用该论文的空间0

没有空间链接此论文

请在空间 README.md 中引用 arxiv.org/abs/2606.02388 以从此页面链接。

包含该论文的合集0

没有合集包含此论文

请将论文添加到合集 (https://huggingface.co/new-collection) 以从此页面链接。