T-DIG:面向图像生成的文本条件化多样性

Hugging Face Daily Papers 论文

摘要

T-DIG 通过训练一个以用户指定变化轴为条件的 LLM,生成多样化的图像提示,并利用图像奖励反馈进行优化,从而在冻结的图像模型(如 GPT Image 2 和 Gemini)上提升文本生成图像的多样性。

文生图(T2I)平台通常会针对每个提示返回多张图像,以便用户探索不同的视觉诠释,并从中选择符合其意图的结果。然而,T2I 模型通常针对单张图像的质量进行优化,这往往会牺牲多张图像之间的多样性,从而限制了这种探索。此外,多样性也具有上下文性:一位用户可能希望在背景上有所变化,另一位用户可能希望在艺术风格上有所变化,而同一位用户之后可能又希望在服装上有所变化。生成的图像应当在用户所关注的任意维度上产生差异。在本文中,我们提出了 T-DIG,这是一个面向图像生成与编辑的文本条件化多样性框架。T-DIG 是一个由多个模块组成的迭代式框架,用户可以输入提示、查看默认生成结果、通过自然语言请求变体,并持续精炼输出直到满意。其核心是一个 LLM 策略(policy),为冻结的生成器或编辑器生成 K 个以变化轴为条件的提示或编辑指令。我们使用 GRPO 训练该策略,并引入文本条件化多样性奖励和对齐惩罚。由于图像生成器保持冻结,T-DIG 可广泛适用于开放权重模型、蒸馏模型和专有模型。我们还发布了首个面向图像生成中文本条件化提示多样性的数据集,其中训练集和验证集基于人工编写的多样性轴构建,测试集则来自用户与 T-DIG 的真实交互。在多项指标和人工评估中,T-DIG 在提升文本条件化多样性方面远超基线方法,同时保持了与基础提示的对齐。我们证明,用户引导的多样性探索可以无缝加入到各种图像生成模型中,无论开源还是闭源,均无需访问其权重。Website: https://image-study.org/t-dig/
查看原文
查看缓存全文

缓存时间: 2026/10/28 13:26

论文页面 - T-DIG:文本条件化多样性图像生成

来源:https://huggingface.co/papers/2610.29003

大家好!

如果你让图像模型生成“一个穿着万圣节服装的人“,结果却得到了四个一模一样的女巫?我们很高兴分享我们的工作——T-DIG,它能够在用户请求的条件下提升文生图的多样性!

Demo(欢迎反馈):https://image-study.org/demo/ 生成结果画廊:https://image-study.org/gallery/

T-DIG 让你可以选择变化的维度(比如“一个食物谐音梗“、“机器学习研究者的低成本装扮”),并沿着你指定的维度生成不同的图像。图像模型本身保持冻结不变,因此它甚至可以在 GPT Image 2 和 Gemini 上使用,而策略模型是在开源模型上训练的!

我们训练了一个 LLM,利用图像奖励反馈来生成多样化的、以变化轴为条件的提示。奖励破解(reward hacking)行为是我最喜欢的部分哈哈。策略模型学会了将描述“写进“图像内部,以确保图像在增加多样性的同时仍然与提示保持对齐。

更多详情请见:https://image-study.org/t-dig/

相似文章

面向视觉生成的语言信息损失

Hugging Face Daily Papers

该论文提出 LILIE(Language-Informed and Lossless Image Encoder),利用可逆归一化流编码器为文本到图像生成提供语言监督损失,在 GPIC 数据集上将 JiT 模型的 gFD 从 66.84 降至 53.01,相比纯像素损失显著提升保真度。

APT:面向文生图生成的反馈驱动智能体后训练

Hugging Face Daily Papers

论文提出APT(Agentic Post-Training),一个全自动化的文生图后训练框架,通过三个智能体协同构建评测集、诊断模型强弱项并生成自适应强化学习数据,形成递归自我改进式的反馈循环,实验证明其在模型、基准和架构上均具有通用性。

LLaDA-Image: 构建强大图像生成器的完全开放训练方案

Hugging Face Daily Papers

LLaDA-Image 提出了一个统一框架,结合了一个 60 亿参数的扩散变换器和一个冻结的视觉语言模块,用于生成具有精确编辑功能的逼真图像,通过高效的训练和快速推理,在开源模型中达到了最先进的成果。

训练文本到图像模型速度提升3.6倍

Hacker News Top

Linum AI 推出 JiT-DDT,这是一种新颖的编码器-解码器架构,训练文本到图像模型的速度比之前的方法快3.6倍,同时生成更高分辨率的图像。