论文页面 - 无需语言预训练的文本到图像生成建模

来源：https://huggingface.co/papers/2610.26863

摘要

Halcyon 证明了通过在图文对上从零开始训练多模态自回归模型，无需依赖大规模语言预训练，也能实现强大的文本到图像生成能力。

现代文本到图像（T2I）系统使用互联网规模的语言预训练来实现文本条件下的图像生成。我们探究语言预训练对于强大的 T2I 生成是否必要。我们提出了 Halcyon，这是一系列早期融合多模态自回归模型，完全从零开始在 GPIC 上进行预训练，GPIC 是一个包含 1 亿图文对的数据集。Halcyon-0.52B 以低 18.2 倍的预训练计算量，超越了 LlamaGen-XL/8（gFD 分别为 48.0 对 63.3，gFD 越低越好）。此外，Halcyon-1.6B 以低 275 倍的预训练计算量，超越了 JiT-T2I-XXL/8++（gFD 分别为 35.3 对 41.0，gFD 越低越好）。受控实验表明，仅进行文本预训练并不能提升 T2I 生成效果。Halcyon 还通过将标题丢弃替换为 I2T 监督来学习图像描述能力，在相同预训练预算下保持了有竞争力的 T2I 生成质量。我们的研究表明，无需互联网规模的语言预训练，也可以从零开始训练强大的 T2I 系统。代码和模型可在 https://cs.stanford.edu/~keshik/halcyon 获取。

查看 arXiv 页面 (https://arxiv.org/abs/2610.26863)　查看 PDF (https://arxiv.org/pdf/2610.26863)　项目页面 (http://cs.stanford.edu/~keshik/halcyon)　添加到合集

在您的智能体中获取此论文：

hf papers read 2610.26863

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

暂无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2610.26863 即可从此页面关联。

引用此论文的数据集 0

暂无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.26863 即可从此页面关联。

引用此论文的 Spaces 0

暂无 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2610.26863 即可从此页面关联。

包含此论文的合集 0

暂无合集包含此论文

将此论文添加到合集即可从此页面关联。