论文页面 - Multi-module GRPO: Composing Policy Gradients and Prompt Optimization for Language Model Programs

来源：https://huggingface.co/papers/2508.04660 作者：

,

,

,

,

,

,

,

,

,

,

,

摘要

mmGRPO 是 GRPO 的多模块扩展，通过优化各种任务中的 LM 调用和提示词，提升模块化 AI 系统的准确性。

Group Relative Policy Optimization（GRPO (https://huggingface.co/papers?q=GRPO)）已被证明是后训练语言模型 (https://huggingface.co/papers?q=post-training%20language%20models)（LMs）的有效工具。然而，AI 系统越来越多地被表达为模块化程序，混合使用多个 LM 调用 (https://huggingface.co/papers?q=LM%20calls) 、不同的提示词模板 (https://huggingface.co/papers?q=prompt%20templates) 和其他工具，目前尚不清楚如何最好地利用 GRPO (https://huggingface.co/papers?q=GRPO) 来改进这些系统。我们通过定义 mmGRPO (https://huggingface.co/papers?q=mmGRPO) 开始应对这一挑战，这是 GRPO (https://huggingface.co/papers?q=GRPO) 的一个简单多模块 (https://huggingface.co/papers?q=multi-module) 泛化，它按模块对 rollout 中的 LM 调用进行分组，并处理可变长度和中断的轨迹。我们发现，mmGRPO (https://huggingface.co/papers?q=mmGRPO) 与自动提示词优化 (https://huggingface.co/papers?q=automatic%20prompt%20optimization) 相结合，在分类 (https://huggingface.co/papers?q=classification) 、多跳搜索 (https://huggingface.co/papers?q=many-hop%20search) 和隐私保护委托 (https://huggingface.co/papers?q=privacy-preserving%20delegation) 任务上，相比后训练 LM 平均提升 11% 的准确率，相比单独的提示词优化提升 5%。我们在 DSPy 中开源了 mmGRPO (https://huggingface.co/papers?q=mmGRPO) ，作为 dspy.GRPO optimizer (https://huggingface.co/papers?q=dspy.GRPO%20optimizer) 。

查看 arXiv 页面 (https://arxiv.org/abs/2508.04660)查看 PDF (https://arxiv.org/pdf/2508.04660)项目页面 (https://dspy.ai/)GitHub34.3kauto (https://github.com/stanfordnlp/dspy)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2508.04660)

在您的 agent 中获取这篇论文：

hf papers read 2508.04660

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

暂无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2508.04660 以从此页面链接。

引用此论文的数据集 0

暂无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2508.04660 以从此页面链接。

引用此论文的 Spaces 0

暂无 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2508.04660 以从此页面链接。

包含此论文的合集 0

暂无合集包含此论文

将此论文添加到合集 (https://huggingface.co/new-collection) 以从此页面链接。