T-DIG:面向图像生成的文本条件化多样性
摘要
T-DIG 通过训练一个以用户指定变化轴为条件的 LLM,生成多样化的图像提示,并利用图像奖励反馈进行优化,从而在冻结的图像模型(如 GPT Image 2 和 Gemini)上提升文本生成图像的多样性。
查看缓存全文
缓存时间: 2026/10/28 13:26
论文页面 - T-DIG:文本条件化多样性图像生成
来源:https://huggingface.co/papers/2610.29003
大家好!
如果你让图像模型生成“一个穿着万圣节服装的人“,结果却得到了四个一模一样的女巫?我们很高兴分享我们的工作——T-DIG,它能够在用户请求的条件下提升文生图的多样性!
Demo(欢迎反馈):https://image-study.org/demo/ 生成结果画廊:https://image-study.org/gallery/
T-DIG 让你可以选择变化的维度(比如“一个食物谐音梗“、“机器学习研究者的低成本装扮”),并沿着你指定的维度生成不同的图像。图像模型本身保持冻结不变,因此它甚至可以在 GPT Image 2 和 Gemini 上使用,而策略模型是在开源模型上训练的!
我们训练了一个 LLM,利用图像奖励反馈来生成多样化的、以变化轴为条件的提示。奖励破解(reward hacking)行为是我最喜欢的部分哈哈。策略模型学会了将描述“写进“图像内部,以确保图像在增加多样性的同时仍然与提示保持对齐。
更多详情请见:https://image-study.org/t-dig/
相似文章
面向视觉生成的语言信息损失
该论文提出 LILIE(Language-Informed and Lossless Image Encoder),利用可逆归一化流编码器为文本到图像生成提供语言监督损失,在 GPIC 数据集上将 JiT 模型的 gFD 从 66.84 降至 53.01,相比纯像素损失显著提升保真度。
APT:面向文生图生成的反馈驱动智能体后训练
论文提出APT(Agentic Post-Training),一个全自动化的文生图后训练框架,通过三个智能体协同构建评测集、诊断模型强弱项并生成自适应强化学习数据,形成递归自我改进式的反馈循环,实验证明其在模型、基准和架构上均具有通用性。
LLaDA-Image: 构建强大图像生成器的完全开放训练方案
LLaDA-Image 提出了一个统一框架,结合了一个 60 亿参数的扩散变换器和一个冻结的视觉语言模块,用于生成具有精确编辑功能的逼真图像,通过高效的训练和快速推理,在开源模型中达到了最先进的成果。
DiSCO:通过分布引导的对比提示优化防御文本到图像生成
DiSCO是一种免训练的黑盒防御方法,用于文本到图像模型,通过分布引导的对比提示优化防止生成不安全内容(NSFW),显著降低攻击成功率。
训练文本到图像模型速度提升3.6倍
Linum AI 推出 JiT-DDT,这是一种新颖的编码器-解码器架构,训练文本到图像模型的速度比之前的方法快3.6倍,同时生成更高分辨率的图像。