Intrinsic Distribution Matching（内在分布匹配）

Hugging Face Daily Papers 论文
distribution-matching distillation image-generation diffusion text-to-image efficiency

摘要

IDM：Intrinsic Distribution Matching 提出让生成器自身同时提供分数监督和分布匹配表示的方法，在保留完整 DMD 校正的基础上，对生成器 EMA 特征的均值和逐坐标标准差添加显式损失。在 2 NFE 预算下，基于 Z-Image 的 IDM 在 LongText-CN 和 LongText-EN 上取得最佳分数。

一步和少步文生图生成必须在精炼机会有限的情况下，准确渲染提示词中指定的细节。分布匹配蒸馏（DMD）利用分数差异将生成分布拉近参考分布。沿用先前工作，我们用内部速度分支来估计这一差异，从而避免使用单独的 fake-score 网络。我们进一步追问：显式矩约束是否能改进这种学到的分数监督？将反向 KL 场分解为高斯矩分量和非高斯残差，可以识别出可被显式约束的统计量。我们提出 Intrinsic Distribution Matching（IDM），它在保留完整 DMD 校正的同时，利用生成器的指数移动平均（EMA）副本来匹配特征均值和逐坐标标准差，无需外部特征编码器。实验在 Z-Image-Turbo 6B 和 Qwen-Image 20B 上进行全参数微调和低秩适配（LoRA）调优。在两次网络评估（2 NFE）下，IDM 在中文和英文 LongText-Bench 上分别达到 94.25% 和 90.20%，是该预算下所有对比方法中的最高分。受控消融实验表明，所添加的矩损失带来了性能提升；同时在报告的五项指标上，生成器 EMA 特征的表现与外部 DINOv2 编码器相当。代码已在 https://github.com/inclusionAI/IDM 开源。
查看原文
查看缓存全文

缓存时间: 2026/10/30 07:09

论文页面 - 内在分布匹配（Intrinsic Distribution Matching）

来源：https://huggingface.co/papers/2610.39633

大家好！我们很高兴分享 IDM：内在分布匹配（Intrinsic Distribution Matching）。

生成器能否同时提供分数监督和用于分布匹配的表示？基于 internal DMD 的基础上，IDM 保留了完整的 DMD 修正，并在生成器自身 EMA 特征的均值和逐坐标标准差上添加了显式损失，无需外部特征编码器。对反向 KL 场的高斯加残差分解为这一额外的矩约束提供了理论动机。

在 2 NFE 下，IDM（Z-Image）在 LongText-CN 上达到 94.25%，在 LongText-EN 上达到 90.20%，是该预算下所有对比方法中的最佳成绩。受控消融实验表明，添加的矩损失带来了稳定的提升，同时生成器 EMA 特征的性能可与 DINOv2 竞争。我们分别使用全参数和 LoRA 微调评估了 Z-Image-Turbo 6B 和 Qwen-Image 20B。

模型权重即将发布。 如果你觉得这项工作有意思，欢迎给我们的 GitHub 点个 ⭐ 并在 HF 上点赞！

图片 (https://cdn-uploads.huggingface.co/production/uploads/649d59cec6b4fdd84ebe0d47/Ov35k7zM0GrswHglAOe84.png)

图片 (https://cdn-uploads.huggingface.co/production/uploads/649d59cec6b4fdd84ebe0d47/WGfEHfm1V-ro2EqoF5pup.png)

相似文章

用于无数据扩散蒸馏的一致分布匹配

Hugging Face Daily Papers

论文提出 Consistent Distribution Matching (CDMD)，通过在单一学生网络内统一样本生成与速度估计，实现无需辅助 fake-score 网络的数据自由扩散蒸馏，在 ImageNet 256×256 上以 1 NFE 达到 2.04 FID，优于 DMD2 等基线，并给出基于 Wasserstein 收敛的理论分析。

DMAD：将分布匹配重构为对抗蒸馏以实现快速视觉生成

Papers with Code Trending

DMAD（Distribution Matching as Adversarial Distillation）将分布匹配重构为一个分类问题，通过判别器头学习对数密度比，从而在无需辅助分数拟合的情况下训练少步学生模型以实现快速视觉生成。它取得了最先进的结果，包括在 ImageNet-64x64 上单步生成达到 FID 1.04，以及在四步生成 Wan2.1-T2V-14B 上 VBench 得分为 85.15。

改进的分布扩散模型（Improved Distributional Diffusion Models）

Hugging Face Daily Papers

本文提出了改进的分布扩散模型（iDDM），通过后期粒子扩展与时间依赖的评分规则调度克服了 DDM 的扩展性限制，在 ImageNet-256 上使用 DiT-XL/2，以单阶段从零开始的训练（无需教师模型或自蒸馏）在 4 步采样时达到 4.48 FID，50 步时达到 2.38 FID。

面向一步式视觉生成的表示分布匹配

Hugging Face Daily Papers

本文介绍了表示分布匹配（RDM），一种通过匹配预训练编码器下的特征分布来实现一步式图像生成的方法，在ImageNet上取得了最先进的结果，并能够将FLUX.2后训练为性能提升的一步生成器。