论文页面 - 视觉生成中文本条件化的缩放性质

来源：https://huggingface.co/papers/2607.29679

摘要

我们研究了视觉生成中文本条件化的经验缩放性质。由于扩散损失不会随自然语言提示中的标记数量而缩放，这类性质很少被测量。令人惊讶的是，我们发现收敛后的扩散损失会随提示中结构化语言的数量而缩放。为了量化结构化语言，我们采用了两种互补的度量方式：一种白盒似然度量（GPG）和一种黑盒属性度量（ED）。在受控训练过程中，收敛后的扩散损失大致随GPG线性下降，并随ED呈幂律关系。在这些缩放性质的指导下，我们通过构建带有从图像中提取的语义和几何注释的结构化提示来提升可扩散性，并通过监督微调、冷启动和验证器门控的在线策略蒸馏来训练提示器，从而提升可提示性。最终系统在几乎所有组合、推理和世界知识基准测试上均优于所有已评估的开源权重模型，并在大多数评估上达到或超过最强的闭源权重模型。

查看 arXiv 页面 (https://arxiv.org/abs/2607.29679) 查看 PDF (https://arxiv.org/pdf/2607.29679) 项目页面 (https://heheyas.github.io/context-scaling/) GitHub2 (https://github.com/heheyas/context-scaling) 添加至收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.29679)

引用此论文的模型 0

暂无模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2607.29679 以从本页链接它。

引用此论文的数据集 0

暂无数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2607.29679 以从本页链接它。

引用此论文的 Spaces 0

暂无 Space 关联此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2607.29679 以从本页链接它。

包含此论文的收藏集 0

暂无收藏集包含此论文

将此论文添加至收藏集 (https://huggingface.co/new-collection) 以从本页链接它。