NucleusAI/Nucleus-Image · Hugging Face

来源：https://huggingface.co/NucleusAI/Nucleus-Image

🌐网站 (https://withnucleus.ai/image)| 🖥️GitHub (https://github.com/WithNucleusAI/Nucleus-Image)| 🤗Hugging Face (https://huggingface.co/NucleusAI/NucleusMoE-Image)| 📑技术报告 (https://arxiv.org/abs/2604.12163)

简介

Nucleus-Image 是一个基于稀疏混合专家（MoE）扩散Transformer架构的文本到图像生成模型。它扩展到170亿总参数，每层包含64个路由专家，每次前向传播仅激活约20亿参数，在质量与效率之间建立了新的帕累托前沿。Nucleus-Image 在 GenEval、DPG-Bench 和 OneIG-Bench 上匹配或超越领先模型，包括 Qwen-Image、GPT Image 1、Seedream 3.0 和 Imagen4。这是一个基座模型，未经任何后训练优化（无 DPO、无强化学习、无人类偏好调优）。所有报告的结果仅反映预训练性能。我们发布完整的模型权重、训练代码和数据集，使 Nucleus-Image 成为该质量级别首个完全开源的 MoE 扩散模型。

主要特性

• 稀疏 MoE 效率：总容量170亿参数，每次前向传播仅约20亿活跃参数，以远低于密集模型的推理成本实现高质量生成
• 专家选择路由：无需辅助负载均衡损失即可保证专家利用率均衡，采用解耦路由设计，将时间步感知分配与时间步条件计算分离
• 基座模型，无后训练：这是一个基座模型。所有基准测试结果仅来自预训练，无 DPO、强化学习或人类偏好调优
• 多宽高比支持：从初始阶段开始，在每个分辨率阶段都使用宽高比分桶训练，支持多种输出尺寸
• 通过 diffusers 实现文本 KV 缓存：文本 token 完全排除在 Transformer 主干之外，仅作为 KV 贡献者，其 KV 投影在所有去噪步骤中被缓存。该缓存已原生集成到 diffusers 管道中。只需使用 TextKVCacheConfig 启用它，即可自动加速，无需修改推理循环代码
• 渐进式分辨率训练：三阶段课程（256 → 512 → 1024），逐步稀疏化专家容量

架构

架构图 (https://storage.googleapis.com/nucleus_image_v1/Architecture_Diagram.png)

Nucleus-Image 是一个32层扩散Transformer，其中29个块将密集 FFN 替换为包含64个路由专家和一个共享专家的稀疏 MoE 层（前3层使用密集 FFN 以保证训练稳定性）。图像查询通过联合注意力机制关注拼接的图像和文本键值对。文本 token 完全排除在 Transformer 主干之外，仅作为 KV 贡献者。这消除了文本的 MoE 路由开销，并支持跨去噪步骤的完整文本 KV 缓存。

路由使用专家选择和解耦设计：路由器接收未调制的 token 表示与时间步嵌入的拼接，而专家 MLP 接收完全调制的表示。这防止了自适应调制尺度——它随时间步变化一个数量级——将专家选择坍缩为时间步依赖的路由，从而保留了空间和语义的专家专门化。

模型规格

基准测试结果

整体表现 (https://storage.googleapis.com/nucleus_image_v1/Overall-Performance.png)

尽管每次前向传播仅激活170亿参数中的约20亿，Nucleus-Image 在所有三个基准测试上均达到或接近最先进水平。所有结果来自基座模型，1024x1024分辨率，50步推理，CFG尺度8.0。

快速开始

安装最新版本的 diffusers：

pip install git+https://github.com/huggingface/diffusers

使用 Nucleus-Image 生成图像：

import torch
from diffusers import DiffusionPipeline
from diffusers import TextKVCacheConfig

model_name = "NucleusAI/Nucleus-Image"

pipe = DiffusionPipeline.from_pretrained(model_name, torch_dtype=torch.bfloat16)
pipe.to("cuda")

# 启用跨去噪步骤的文本 KV 缓存（集成在 diffusers 中）
config = TextKVCacheConfig()
pipe.transformer.enable_cache(config)

# 支持的宽高比
aspect_ratios = {
    "1:1": (1024, 1024),
    "16:9": (1344, 768),
    "9:16": (768, 1344),
    "4:3": (1184, 896),
    "3:4": (896, 1184),
    "3:2": (1248, 832),
    "2:3": (832, 1248),
}

prompt = "A weathered lighthouse on a rocky coastline at golden hour, waves crashing against the rocks below, seagulls circling overhead, dramatic clouds painted in shades of amber and violet"
width, height = aspect_ratios["16:9"]

image = pipe(
    prompt=prompt,
    width=width,
    height=height,
    num_inference_steps=50,
    guidance_scale=4.0,
    generator=torch.Generator(device="cuda").manual_seed(42),
).images[0]

image.save("nucleus_output.png")

亮点展示

肖像与人物

Nucleus-Image 生成的人物主题与肖像，涵盖多元文化、不同年龄和艺术风格。从富有表现力的人物研究到具有精细皮肤纹理和细节的特写。

奇幻、超现实主义与自然

Nucleus-Image 生成的奇幻、超现实主义、动画及自然世界作品。

商业与日常图像

Nucleus-Image 生成的产品摄影、建筑、排版、美食及世界文化图像，展示了其在商业、概念和日常图像中的多样性。

许可证

Nucleus-Image 采用 Apache 2.0 许可证 (https://www.apache.org/licenses/LICENSE-2.0)。

引用

@misc{nucleusimage2026,
      title={Nucleus-Image: Sparse MoE for Image Generation},
      author={Nucleus AI Team},
      year={2026},
      eprint={2604.12163},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
}