AsymFlow宣称通过超越潜在扩散，生成更逼真的AI图像

# AsymFlow 宣称通过超越潜在扩散实现更真实的AI图像 - Firethering 来源：https://firethering.com/asymflow-pixel-diffusion-image-model/ \- 广告 \- 曾几何时，整个领域悄然达成共识：像素空间太过困难，于是便转向了其他方向。 Stable Diffusion、FLUX，以及过去三年里你使用过的所有严肃文本到图像模型，都在潜在空间中运行。这些模型并非直接生成实际像素，而是将图像压缩成一个更小的数学表示，在其中完成所有繁重的工作，最后再解压回像素。这种方式训练更快、成本更低，并且成就了当前这一代图像模型。 代价虽微妙，却能察觉。压缩步骤会丢失信息。精细的纹理、锐利的边缘、精确的细节，这些存在于像素层面的东西会被平滑处理，而潜在模型永远无法完全恢复，因为等到它们开始生成时，这些细节已经不复存在。 斯坦福大学的研究人员刚刚发表了一种绕过这一问题的方法。AsymFlow 并不要求你放弃潜在模型或从头训练像素模型。它直接利用你已有的模型进行转换，而且最终结果超过了它源自的潜在模型。 ## **目录** - 改变数学原理的非对称技巧 (https://firethering.com/asymflow-pixel-diffusion-image-model/#the-asymmetric-trick-that-changes-the-math) - 在其自身基准测试上超越 FLUX.2 klein (https://firethering.com/asymflow-pixel-diffusion-image-model/#surpassing-flux-2-klein-on-its-own-benchmarks) - 如果你已拥有潜在模型，这意味着什么 (https://firethering.com/asymflow-pixel-diffusion-image-model/#what-this-means-if-you-already-have-a-latent-model) - 如何尝试 (https://firethering.com/asymflow-pixel-diffusion-image-model/#how-to-try-it) - 它仍存在的局限 (https://firethering.com/asymflow-pixel-diffusion-image-model/#where-it-still-has-limits) ## **改变数学原理的非对称技巧** 标准流模型预测的是速度——大致上就是模型从噪声向干净图像移动的方向和速率。像素空间中的问题在于，预测速度意味着需要同时以全像素分辨率预测数据项和噪声项。这对一个 Transformer 来说工作量巨大，其中大部分算力都用于建模高维噪声，而这些噪声本身并不携带太多有用信息。 AsymFlow 将这种预测非对称地拆分。数据项保持全维度，因为这才是图像真实存在的地方。噪声项则被限制在一个低秩子空间中，这是一个更小的数学表示，既能捕捉噪声的基本结构，又避免了全像素预测带来的计算开销。通过这两个非对称预测，完整的速度无需改变网络架构或训练过程，即可通过解析方式恢复。 实际效果是：模型能够在像素空间完成有意义的工作，而无需支付最初使像素生成不切实际的全部计算成本。可以将其理解为找出噪声预测中真正重要的部分，而忽略其余部分。 在 ImageNet 256×256 上，这种方法达到了 1.57 的 FID，这是 DiT 和 JiT 系列中像素扩散模型的最佳结果，且优势明显。 ## **在其自身基准测试上超越 FLUX.2 klein** Asymflow ai image generations via: AsymFlow GitHub Repo 从 FLUX.2 klein 9B 微调而来的 AsymFLUX.2 klein 是一个已经具备强大能力的模型的像素空间版本。微调之所以有效，是因为 AsymFlow 在训练开始前就将潜在空间与一个低秩像素子空间进行了数学对齐。像素模型从一开始就保留了潜在模型对文本、构图和结构的完整理解。随后，微调修正了潜在压缩所丢失的低级细节。 在衡量图像质量和美学的人类偏好指标 HPSv3 上，AsymFLUX.2 klein 得分为 10.66，而 FLUX.2 klein 基础版为 9.50。在测试提示遵循度的 DPG-Bench 上，它得分为 86.8，基础版为 85.2。在 GenEval 上，得分 0.82 对比 0.80。 这些差距不算巨大，但方向很重要。从潜在基础模型微调而来的像素模型，在其自身的评估基准上超越了该基础模型。你期望从像素空间生成中获得的细节和纹理改进，确实在分数上体现了出来。 作为参考，FLUX.1 dev（一个更大、更成熟的模型）在 HPSv3 上的得分为 10.43。AsymFLUX.2 klein 超过了它。 ##### **你可能喜欢：** 挑战 Google Nano Banana 的开源 AI 图像编辑模型 (https://firethering.com/best-open-source-ai-image-editing-models/) ## **如果你已拥有潜在模型，这意味着什么** AsymFlow 引入的潜在到像素微调路径并非 FLUX.2 klein 所独有。该方法通过一种称为 Procrustes 对齐的数学运算，将任何潜在模型的压缩表示与像素子空间对齐。完成初始化后，像素模型从一个已经理解自己应该生成什么的起点出发，它只需要学习如何以全分辨率生成。 这意味着今天存在的每一个严肃的潜在模型，都可能成为像素模型的起点。最昂贵的部分——大规模学习文本到图像生成——已经完成。剩下的只是微调，这比从头训练要便宜得多。 斯坦福大学发布了代码、AsymFLUX.2 klein 在 Hugging Face 上的模型权重，以及一个 Gradio 演示。在基于此构建任何东西之前，有一个重要细节：AsymFLUX.2 klein 继承了 FLUX 非商业许可证，这意味着它可免费用于研究、个人项目和非生产性实验，但不能用于商业用途。如果你需要将其用于产品，则需要从 Black Forest Labs 获得单独的商业许可证。 ## **如何尝试** 最快的途径是 Hugging Face 的演示空间，无需本地设置即可运行 AsymFLUX.2 klein。对于本地使用，该仓库提供了一个 Diffusers 风格的管道——加载 FLUX.2 klein 基础模型，附加 AsymFlow 适配器，直接在像素空间中生成。设置遵循标准 Diffusers 约定，所以如果你之前本地运行过 FLUX，对此不会感到陌生。 训练你自己的版本需要更多基础设施，ImageNet 实验需要 8 块 GPU，而且文本到图像微调数据的准备说明尚未完全发布。目前对于大多数人来说，这是一个用于评估和实验的模型，而不是一个可以立即复现的训练配方。 ##### **你可能喜欢：** 在生成图像中真正正确渲染文本的开源 AI 模型 (https://firethering.com/best-open-source-ai-image-text-rendering-models/) ## **它仍存在的局限** AsymFLUX.2 klein 在质量基准上令人印象深刻，并且在定性比较中确实比其潜在基础模型产生了更清晰、更详细的输出。但它并非在所有类别中都占据主导地位。 在 GenEval 上，它得分为 0.82，而 Qwen-Image 为 0.86。在复杂的构图任务中，对于原始提示的遵循程度，更大、更专门的模型仍然具有优势。微调在修正细节和纹理方面表现良好，但在更难的基于推理的生成任务上有多大改进，尚不清楚。 该设置仍然需要一块性能良好的 GPU。这不是消费级笔记本电脑能应付的。而且由于尚不支持 ComfyUI，工作流选项比大多数使用 FLUX 类模型的从业者习惯的要少。 这里的研究贡献比任何单一基准结果都更持久。一种无需从头训练即可从潜在到像素生成的可行路径，是对该领域能力的实质性补充。该模型本身是这一路径在实践中有效性的第一个坚实证明。