从环境反馈中学习：面向智能体强化学习的多时间尺度信用分配

# 从环境反馈中学习：面向智能体强化学习的多时间尺度信用分配

Source: https://arxiv.org/abs/2608.08255
Authors:Yifu Huo (https://arxiv.org/search/cs?searchtype=author&query=Huo,+Y),Shunjie Xing (https://arxiv.org/search/cs?searchtype=author&query=Xing,+S),Chenglong Wang (https://arxiv.org/search/cs?searchtype=author&query=Wang,+C),Peinan Feng (https://arxiv.org/search/cs?searchtype=author&query=Feng,+P),Qiaozhi He (https://arxiv.org/search/cs?searchtype=author&query=He,+Q),Yan Ding (https://arxiv.org/search/cs?searchtype=author&query=Ding,+Y),Anxiang Ma (https://arxiv.org/search/cs?searchtype=author&query=Ma,+A),Yuxin Gao (https://arxiv.org/search/cs?searchtype=author&query=Gao,+Y),Tongran Liu (https://arxiv.org/search/cs?searchtype=author&query=Liu,+T),Tong Xiao (https://arxiv.org/search/cs?searchtype=author&query=Xiao,+T),Jingbo Zhu (https://arxiv.org/search/cs?searchtype=author&query=Zhu,+J)

View PDF (https://arxiv.org/pdf/2608.08255)

> 摘要：智能体强化学习（RL）在现实环境中常常面临奖励延迟且稀疏的问题。解决这一挑战的一个有前景的方法是信用分配，其目标是对轨迹级奖励进行分解，为中间决策提供更细粒度的监督。然而，现有的信用分配方法忽略了环境交互过程中自然产生的丰富过程信息，例如交互历史。我们认为，此类信息能为识别单个动作的贡献提供有价值的监督。为此，我们提出了基于环境反馈的信用分配（EFCA），一种面向长视界智能体强化学习的多时间尺度信用分配方法。EFCA 用两种基于环境的过程信号补充长期结果信号：一种捕捉当前动作即时效应的短期反馈信号，以及一种从近期交互中识别无效模式的中期状态历史信号。两种信号均直接从环境反馈中提取，并通过回报重加权机制进行整合。在 ALFWorld 和 WebShop 上的实验表明，EFCA 在强基线上持续提升了任务成功率和任务质量，凸显了基于环境的多时间尺度信用分配对长视界智能体强化学习的有效性。

## 提交历史

From: Yifu Huo \[view email (https://arxiv.org/show-email/c9cc7923/2608.08255)\] **\[v1\]**Sat, 8 Aug 2026 17:32:34 UTC \(1,042 KB\)