SCOPE:面向文本到图像生成中提示工程的语义边界信用优化

Hugging Face Daily Papers 论文

摘要

SCOPE 提出一种基于 GRPO 的语义边界信用优化目标,通过在语义 span 内聚合策略对数概率变化来改进文本到图像生成的提示重写,在 GeneVal 和 T2I-CompBench 上相比原始 GRPO 分别提升 9.48% 和 7.62%。

强化学习(RL)能够使语言模型通过为冻结的图像生成器重写提示词来改进文本到图像(T2I)生成。现有方法通常将源自图像的单一信号应用于单个子词 token,然而物体、数量、属性和关系实际上构成了连贯的语义 span。我们提出 SCOPE,这是一种基于群体相对策略优化(Group Relative Policy Optimization, GRPO)的目标函数,使更新权重的分配与这一结构保持对齐。重写器会联合生成增强后的提示词及其语义划分。SCOPE 在每个 span 内聚合策略对数概率的变化量,为该 span 内的 token 损失推导出一个共享系数,同时为每次补全保留单一的 advantage。该方法既不需要单独的 span 奖励,也不需要额外的图像渲染。在 Qwen-Image、SD3 和 FLUX.1-dev 上,SCOPE 相比原始 GRPO 在 GeneVal 上平均获得 9.48% 的相对提升,在 T2I-CompBench 上平均获得 7.62% 的相对提升。消融研究表明,语义边界以及 span 内的聚合都对这些提升有所贡献,支持将语义结构作为强化学习中提示工程的实用归纳偏置。
查看原文
查看缓存全文

缓存时间: 2026/10/16 03:01

论文页面 - SCOPE:面向文生图提示词工程的语义受限信用分配优化

来源: https://huggingface.co/papers/2610.22264 发布于 10 月 15 日

·

由 https://huggingface.co/Jinfa 提交

Huang (https://huggingface.co/Jinfa),于 10 月 16 日发布

摘要

SCOPE 通过强化学习改进文生图的提示词重写,将策略更新与语义片段对齐,在无需额外图像渲染的情况下提升生成质量。

强化学习 (https://huggingface.co/papers?q=Reinforcement%20learning)(RL)使语言模型能够通过为冻结的图像生成器重写提示词来改进文生图(T2I)生成。现有方法通常将源自图像的单一信号分配给各个子词 token,然而物体、计数、属性和关系构成连贯的语义片段 (https://huggingface.co/papers?q=semantic%20spans)。我们提出 SCOPE,一种基于分组相对策略优化(Group Relative Policy Optimization,GRPO (https://huggingface.co/papers?q=GRPO))的目标函数,使更新权重与这种结构相对齐。重写器同时生成增强后的提示词及其语义划分。SCOPE 在每个片段内汇总策略对数概率 (https://huggingface.co/papers?q=policy%20log%20probabilities) 的变化,从而为该片段的 token 损失推导出一个共享系数,同时对每次生成结果仍只保留单一优势值。该方法既不需要单独的片段奖励,也不需要额外的图像渲染。在 Qwen-Image、SD3 和 FLUX.1-dev 上,SCOPE 相比原版 GRPO 在 GeneVal 上取得平均 9.48% 的相对提升,在 T2I-CompBench 上取得 7.62% 的相对提升。消融研究表明,语义边界和片段内汇总两者都对这些提升有所贡献,支持将语义结构作为强化学习提示词工程的一种实用归纳偏置。

查看 arXiv 页面 (https://arxiv.org/abs/2610.22264) 查看 PDF (https://arxiv.org/pdf/2610.22264) GitHub (https://github.com/MAC-AutoML/SCOPE) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.22264)

在你的 agent 中获取这篇论文:

hf papers read 2610.22264

还没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

暂无模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2610.22264,即可从此页面链接过去。

引用此论文的数据集 0

暂无数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.22264,即可从此页面链接过去。

引用此论文的 Space 0

暂无 Space 关联此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.22264,即可从此页面链接过去。

收录此论文的收藏夹 0

暂无收藏夹收录此论文

将此论文添加到收藏夹 (https://huggingface.co/new-collection) 即可从此页面链接过去。

相似文章

上下文信用策略优化

arXiv cs.LG

本文提出上下文信用策略优化(CCPO),一种无需价值评估器的步骤级信用分配方法,通过上下文相似度加权的同伴比较与未来进度信号,为大语言模型智能体在长程任务中的强化学习提供更精细的优势估计,在 ALFWorld 和 WebShop 上显著优于组相对策略优化(GRPO)。

用于离散策略优化的引导对比Token信用分配

Hugging Face Daily Papers

本文提出引导对比策略优化(GCPO),这是一种新颖的算法,通过对比正负提示下的模型预测,在强化学习中实现每个Token的信用分配,在文本到图像生成和思维链推理基准测试中持续优于GRPO和DAPO基线。