论文页面 - HiRAE：基于残差预算的层次化表示自编码器

来源：https://huggingface.co/papers/2609.37775

摘要

预训练的视觉表征支持图像生成，但可能无法完全保留忠实重建所需的细粒度细节。与此同时，中间编码器层包含互补的视觉细节，但学习融合这些细节以进行重建，可能会产生难以建模的潜空间分布。现有的融合方法需要对层选择进行经验性调整，或对融合与解码进行分阶段优化，增加了配置工作量或训练复杂性。我们引入了 HiRAE（层次化表示自编码器），该模型在完整的编码器层次结构上学习一个层次化融合框架，以提高重建保真度，同时保持与生成模型的兼容性。HiRAE 按深度对编码器层进行分组，并学习对最深表示的残差校正。分组范数约束限定了这些校正相对于深层锚点的范围，较浅层组的约束预算更为严格。我们的 HiRAE-24 保持了潜空间 token 数量和通道维度不变。在 ImageNet-256 数据集上，HiRAE-24 相对于 RAEv2 将重建 FID 从 0.299 降低至 0.209，同时保持了有竞争力的引导生成质量。对于文本到图像生成，HiRAE-24 在 GenEval、DPG-Bench 和 GenAI-Bench 上，无论是在监督微调前后，都改进了与 RAEv2 的对齐度。在相同的生成器训练和评估协议下，微调后的 GenEval 分数从 84.86 提升至 87.70。

查看 arXiv 页面 (https://arxiv.org/abs/2609.37775) 查看 PDF (https://arxiv.org/pdf/2609.37775) 添加至收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.37775)

在你的代理中获取此论文：

hf papers read 2609.37775

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型数量：0

没有模型链接到此论文。

在模型的 README.md 中引用 arxiv.org/abs/2609.37775 以从此页面链接。

引用此论文的数据集数量：0

没有数据集链接到此论文。

在数据集的 README.md 中引用 arxiv.org/abs/2609.37775 以从此页面链接。

引用此论文的 Spaces 数量：0

没有 Space 链接到此论文。

在 Space 的 README.md 中引用 arxiv.org/abs/2609.37775 以从此页面链接。

包含此论文的收藏数量：0

没有收藏包含此论文。

将此论文添加到收藏 (https://huggingface.co/new-collection) 以从此页面链接。