论文页面 - 解锁预训练自回归图像模型的任意顺序生成能力

来源：https://huggingface.co/papers/2610.39293

摘要

通过引入未来感知位置嵌入和顺序课程，预训练的光栅扫描自回归图像模型可以转变为灵活的任意顺序生成器，仅需极少的额外计算即可实现图像修复和外扩。

自回归 (AR) 图像生成器在原理上功能强大，但在实际应用中缺乏灵活性：采用固定的光栅扫描顺序进行训练，会将图像分布的一种特定因子分解方式硬编码到模型中，使其在推理时无法进行图像修复、外扩或编辑。现有解决方案，包括现代离散扩散模型家族，均从头开始在多种词元顺序的混合分布上训练，所需计算量约为标准光栅扫描训练的 3 倍；离散扩散 (https://huggingface.co/papers?q=discrete%20diffusion) 在设计上还牺牲了与 AR 推理生态系统 (KV 缓存 (https://huggingface.co/papers?q=KV%20caching)、vLLM (https://huggingface.co/papers?q=vLLM)) 的兼容性。我们认为，这种代价并无必要。预训练的光栅扫描 AR 模型已经学会了图像词元的联合分布；它缺少的不是知识，而是通过非顺序条件路径表达这些知识的能力。我们提出了一套将预训练光栅扫描模型适配为任意顺序生成器的方法，包含两个组成部分：未来感知位置嵌入 (https://huggingface.co/papers?q=future-aware%20positional%20embeddings)，以可忽略不计的开销解决目标位置的可辨识性问题；以及顺序课程 (https://huggingface.co/papers?q=ordering%20curriculum)，沿着一条稳定的优化路径，将预训练解引导至良好的任意顺序优化盆地。将该方法应用于涵盖两种架构和两种规模的四个基础模型 (LlamaGen (https://huggingface.co/papers?q=LlamaGen)-L/XL、RAR (https://huggingface.co/papers?q=RAR)-L/XL) 后，其在 ImageNet 图像修复 (FID 为 6.21，而对照为 10.44) 和外扩任务上的表现显著优于 MaskGIT (https://huggingface.co/papers?q=MaskGIT)，并可与 MAR (https://huggingface.co/papers?q=MAR)-L 媲美。获得这种灵活性的代价是类别条件 FID 增加 1.2-1.9，计算成本仅比预训练额外增加 13-33%，同时保持标准 AR 推理技术栈不变。我们的结果表明，图像修复、外扩和编辑能力未必需要额外添加到自回归图像模型中，而是可以从现有模型中解锁。代码已发布于 https://github.com/Ordered-AR/unlockedadaptation.

查看 arXiv 页面 (https://arxiv.org/abs/2610.39293)查看 PDF (https://arxiv.org/pdf/2610.39293)GitHub0 (https://github.com/Ordered-AR/unlockedadaptation)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.39293)

在你的智能体中获取这篇论文：

hf papers read 2610\.39293

还没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

没有链接到这篇论文的模型

在模型的 README.md 中引用 arxiv.org/abs/2610.39293，即可从此页面链接到该模型。

引用这篇论文的数据集0

没有链接到这篇论文的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2610.39293，即可从此页面链接到该数据集。

引用这篇论文的 Space0

没有链接到这篇论文的 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2610.39293，即可从此页面链接到该 Space。

收录这篇论文的合集0

没有收录这篇论文的合集

将这篇论文添加到合集 (https://huggingface.co/new-collection)，即可从此页面链接到该合集。