先分解部首,再奖励:面向精确中文文本渲染的细粒度监督

Hugging Face Daily Papers 论文

摘要

提出了基于表意文字描述序列(IDS)的IDSpect方法,通过细粒度的部件级与空间关系奖励信号改进中文文本渲染,使用GRPO对Qwen-Image进行后训练后,在LongText和GenTextEval上取得领先表现。

对文本到图像模型而言,准确渲染中文文本仍是一项挑战。现有的基于OCR的强化学习奖励将解码出的转写文本与目标字符串进行比较。此类奖励忽略了中文书写固有的组合性:一个表意文字由可复用的部件通过显式空间关系组合而成,而OCR却将其视为一个原子化的字符。因此,视觉上不同的部首级错误可能获得同样粗糙的反馈,促使模型生成仅在外观上近似目标字形、而非忠实再现其内部结构的结果。我们采用表意文字描述序列(Ideographic Description Sequences,IDS),它由空间运算符和字符部件构成,并训练了一个专家级IDS识别器,将渲染出的中文文本转写为该表示。在这一识别器的基础上,我们提出了IDSpect,它将目标文本确定性地分解为IDS token,并将裁剪图像的视觉IDS预测与目标序列进行对齐。全局唯一的token归因机制使该比较对检测到的文本区域的顺序具有鲁棒性。结合整字语义奖励,IDSpect无需修改图像生成器、也不增加推理开销,即可提供涵盖部件与空间关系的细粒度信用分配。在Qwen-Image上进行GRPO后训练的实验表明,IDSpect在LongText和GenTextEval上实现了领先的结构质量与语义对齐表现。
查看原文
查看缓存全文

缓存时间: 2026/10/01 04:21

论文页面 - 先分解字根,再给予奖励:面向精准中文文本渲染的细粒度检验

来源:https://huggingface.co/papers/2609.37569

摘要

让文生图模型准确渲染中文文本依然困难重重。现有的基于 OCR 的强化学习奖励机制,是将解码出的文字转录与目标字符串进行比较。这类奖励忽略了汉字书写的组合性特征:一个表意文字由可复用的部件通过明确的空间关系组合而成,而 OCR 却将它当作一个整体原子字符来评判。因此,视觉上截然不同的部件级错误可能只得到同样粗糙的反馈,促使模型生成的字形仅仅在表面上与目标相似,而非忠实地还原其内部结构。我们采用表意文字描述序列(Ideographic Description Sequences,IDS),它由空间运算符和字符部件构成,并训练了一个专门的 IDS 识别器,将渲染出的中文文本转录为这一表示。在此识别器的基础上,我们提出了 IDSpect:它以确定性方式将目标文本分解为 IDS token,并将裁剪区域级别的视觉 IDS 预测与目标序列进行对齐。全局唯一的 token 信用分配机制,使这一比较不受检测到的文本区域顺序的影响。结合整字语义奖励,IDSpect 在不改动图像生成器、也不增加推理开销的前提下,提供了包含部件与空间关系的细粒度信用分配。在对 Qwen-Image 进行 GRPO 后训练的实验中,IDSpect 在 LongText 与 GenTextEval 上取得了领先的结构质量与语义对齐表现。

查看 arXiv 页面(https://arxiv.org/abs/2609.37569) 查看 PDF(https://arxiv.org/pdf/2609.37569) 加入收藏(https://huggingface.co/login?next=%2Fpapers%2F2609.37569)

引用该论文的模型 0

目前没有模型关联到该论文

在模型 README.md 中引用 arxiv.org/abs/2609.37569,即可在此页面建立关联。

引用该论文的数据集 0

目前没有数据集关联到该论文

在数据集 README.md 中引用 arxiv.org/abs/2609.37569,即可在此页面建立关联。

引用该论文的 Spaces 0

目前没有 Space 关联到该论文

在 Space README.md 中引用 arxiv.org/abs/2609.37569,即可在此页面建立关联。

包含该论文的收藏 0

目前没有收藏包含该论文

将此论文加入收藏(https://huggingface.co/new-collection),即可在此页面建立关联。

相似文章

TextVerifier:超越识别,验证中文文本渲染

Hugging Face Daily Papers

TextVerifier 提出了一种针对中文文本渲染缺陷的逐字符验证方法,利用表意文字描述序列(IDS)替代单字符符号作为文本塔输入,并在首个逐字符基准 TextRenderBench-ZH 上取得 0.844 的 F1 分数,显著优于 OCR 置信度(0.526)、通用 VLM(0.329)和 TextPecker(0.590)。该方法还可作为 Flow-GRPO 后训练的逐字符奖励,进一步降低渲染错误,兼具检测与纠错能力。

通过像素空间分组图像生成实现场景文本高效修正

Hugging Face Daily Papers

PixText 将局部文本修正建模为像素空间的分组图像生成,仅生成目标区域并保留未编辑内容,借助 MeanFlow 实现四步快速生成,在新提出的 TextRefinementBench 上以 83.06% 的字形通过率大幅超越最强基线。

prunaai/p-image-ideogram

Replicate Explore

Pruna AI 发布的优化版文本生图模型 p-image-ideogram 已上线 Replicate,支持提示词理解、排版控制、思考级别调节与自定义分辨率,主打高保真写实与文字渲染能力。

UltraText Bench:一个用于评估图像生成中视觉文字渲染的全面双语基准

Hugging Face Daily Papers

UltraText Bench 是一个双语(英文/中文)基准,包含 24 个场景类别、432 条提示词,用于评估图像生成模型中密集视觉文字的渲染能力。该基准由 Q-Judge 视觉语言模型从文字保真度、清晰度、空间质量和场景质量四个维度进行评分,并揭示了 Z-Image-Turbo 与 Z-Image-Base 等不同模型变体之间明显的权衡关系。