论文页面 - 并非所有提示都平等：探索引导的多模态强化后训练提示脚手架

来源: https://huggingface.co/papers/2609.15051

摘要

该框架通过探索潜力评分和脚手架式重写来动态调整训练提示，以改进多模态语言模型的强化学习。

在线强化学习 (https://huggingface.co/papers?q=online%20reinforcement%20learning)(RL) 中的训练提示在信息量上差异显著：有些已经饱和，有些则过于困难以至于无法产生可靠的学习信号，但在标准训练下，两者都获得相同的生成预算。我们提出了一种探索引导的提示脚手架 (https://huggingface.co/papers?q=exploration-guided%20prompt%20scaffolding) 框架，在多模态大语言模型 (https://huggingface.co/papers?q=multimodal%20large%20language%20models) (MLLMs) 的 RL 后训练过程中动态调整训练提示分布。我们方法的核心是探索潜力得分 (https://huggingface.co/papers?q=Exploration%20Potential%20Score) (EPS)，一个基于生成、轻量化的提示效用代理指标，源自 KL 正则化策略改进 (https://huggingface.co/papers?q=KL-regularized%20policy%20improvement) 理论，可直接从在策略生成统计数据中计算，无需额外开销。我们并非丢弃低效用提示，而是利用教师模型生成脚手架式重写 (https://huggingface.co/papers?q=scaffolded%20rewrites)，这些重写在保留原始任务意图的同时使后续训练更具信息性，将教师监督重新定义为训练数据精炼，而非输出模仿。结合 GRPO (https://huggingface.co/papers?q=GRPO) 在 Geo3K 和 MMK12 上的实验表明，我们的方法在领域内和领域外基准测试上始终优于基线，领域内相对提升最高达 9.7%，在 MathVision 上获得 11.5% 的提升，在 MMMU-Pro 上获得 11.1% 的提升。

查看 arXiv 页面 (https://arxiv.org/abs/2609.15051)查看 PDF (https://arxiv.org/pdf/2609.15051)项目页面 (https://mqleet.github.io/EPS-ProjectPage/)添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2609.15051)

在您的智能体中获取此论文：

hf papers read 2609\.15051

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

无模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2609.15051 以从本页面链接它。

引用此论文的数据集0

无数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2609.15051 以从本页面链接它。

引用此论文的 Spaces0

无 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2609.15051 以从本页面链接它。

包含此论文的收藏集0

无收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从本页面链接它。