面向长时程 LLM 智能体的多尺度策略优化

Hugging Face Daily Papers 论文
llm-agents reinforcement-learning policy-optimization credit-assignment long-horizon-tasks importance-sampling

摘要

本文提出 Multiscale Policy Optimization（MPO），通过在轮次尺度上对齐信用分配与策略更新（结合多尺度优势估计 MAE 和轮次级重要性采样）来改进长时程 LLM 智能体的训练，在搜索、工具使用和自动化任务上对 4B 和 30B-A3B 模型均取得一致增益。

长时程 LLM 智能体通过完整的助手轮次与环境交互，同时在每个动作中逐 token 进行生成。我们观察到 critic 值的变化主要发生在轮次层面，因此提出以轮次为锚点进行优化，并在 token 层面实现更细粒度的信用分配。为此，我们提出 Multiscale Policy Optimization（MPO），它结合 Multiscale Advantage Estimation（MAE）和轮次级重要性采样，以在轮次尺度上对齐信用分配与策略更新。在搜索、工具使用和自动化任务上的大量实验表明，MPO 在 4B 和 30B-A3B 模型上均取得了相对于强 RL 基线的一致提升。
查看原文
查看缓存全文

缓存时间: 2026/10/28 13:26

论文页面 - 面向长程LLM智能体的多尺度策略优化

来源: https://huggingface.co/papers/2610.35013

作者: （略）

摘要

多尺度策略优化（Multiscale Policy Optimization）通过在轮次尺度上对齐信用分配与策略更新，从而改进长程智能体的训练。

长程LLM智能体通过完整的助手轮次与环境交互，同时逐token生成每个动作。我们观察到，critic值主要在轮次之间变化，这促使我们在以轮次为锚点的基础上进行优化，并在token之间实现更细粒度的信用分配。我们提出了多尺度策略优化（Multiscale Policy Optimization，简称MPO），将多尺度优势估计（Multiscale Advantage Estimation，简称MAE）与轮次级重要性采样（turn-level importance sampling）相结合，以在轮次尺度上对齐信用分配与策略更新。在搜索、工具使用和自动化任务上，使用4B和30B-A3B模型进行的大量实验表明，该方法相较于强RL基线取得了持续的提升。

查看 arXiv 页面 (https://arxiv.org/abs/2610.35013) 查看 PDF (https://arxiv.org/pdf/2610.35013) 加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.35013)

引用本文的模型 0

暂无模型关联此论文。

在模型 README.md 中引用 arxiv.org/abs/2610.35013 即可将此论文关联到该页面。

引用本文的数据集 0

暂无数据集关联此论文。

在数据集 README.md 中引用 arxiv.org/abs/2610.35013 即可将此论文关联到该页面。

引用本文的 Spaces 0

暂无 Space 关联此论文。

在 Space README.md 中引用 arxiv.org/abs/2610.35013 即可将此论文关联到该页面。

包含本文的合集 0

暂无合集包含此论文。

将此论文添加到合集 (https://huggingface.co/new-collection) 即可将此论文关联到该页面。

相似文章

面向基于大语言模型的多智能体系统的能力感知编排

arXiv cs.AI

该论文提出了一种两阶段的能力感知框架，用于大语言模型多智能体系统的自动编排，根据模型在当前查询上的能力动态调整角色激活与通信图，在六个基准上平均达到 93.81%，同时在高能力骨干模型上降低 36.26% 的词元成本。