OpenMOSS-Team/MOSS-Image-Base

Hugging Face Models Trending 模型

摘要

OpenMOSS 发布了 MOSS-Image-Base 文生图基础模型,支持自然语言提示、标签序列和 JSON 布局控制文本位置与物体排列,并配套 SFT 版本、ComfyUI 插件和提示增强工具。

任务:文本生成图像 标签:diffusers, safetensors, moss-image, 文本生成图像, en, zh, 许可证:apache-2.0, diffusers:MOSSImagePipeline, 区域:us
查看原文
查看缓存全文

缓存时间: 2026/10/17 06:54

OpenMOSS-Team/MOSS-Image-Base · Hugging Face

来源:https://huggingface.co/OpenMOSS-Team/MOSS-Image-Base

MOSS-Image-Base 和 MOSS-Image-SFT (https://huggingface.co/OpenMOSS-Team/MOSS-Image-Base/blob/main/assets/teaser.webp)

MOSS-Image-Base 是 OpenMOSS 发布的 MOSS-Image 系列中的基础文生图模型。它支持自然语言提示词、标签序列以及 JSON 布局,用于控制文字排布和物体位置。

https://huggingface.co/OpenMOSS-Team/MOSS-Image-Base#base-vs-sftBase 与 SFT 对比

在这个示例中,SFT 产生了更清晰的文字排版和更整洁的白板布局。

https://huggingface.co/OpenMOSS-Team/MOSS-Image-Base#quick-start快速开始

请使用 Python 3.10 或更高版本,以及支持 CUDA 的 NVIDIA GPU。安装与你的 CUDA 环境兼容的 PyTorch 2.9 或更高版本,然后安装以下依赖:

pip install "diffusers>=0.38" "transformers>=5.3" "accelerate>=1.10" "safetensors>=0.6" "Pillow>=10"

`` import torch from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained( “OpenMOSS-Team/MOSS-Image-Base”, custom_pipeline=“pipeline_moss_image”, trust_remote_code=True, torch_dtype={“default”: torch.bfloat16, “vae”: torch.float32}, ) pipe.scheduler = type(pipe.scheduler).from_config(pipe.scheduler.config) pipe.to(“cuda”)

prompt = ‘’‘A wide view of a refrigerator beside a kitchen counter with a fruit bowl. A small sticky note on the refrigerator door is handwritten in Chinese: “记得买牛奶和鸡蛋! 牛奶两盒,鸡蛋一打。 顺便带一袋面包。”’‘’

image = pipe( prompt, height=1024, width=1024, num_inference_steps=50, guidance_scale=3.0, uncond_skip_layers=[22], generator=torch.Generator(“cpu”).manual_seed(42), ).images[0] image.save(“refrigerator_note.png”) ``

模型和自定义 pipeline 代码会自动下载并缓存。你也可以将完整的本地模型目录传给 from\_pretrained。Transformer 和文本编码器使用 bfloat16;VAE 和初始噪声使用 float32。附带的 VAE 使用 FLUX.2 small 解码器。

关于 Gradio 界面、CPU 卸载和编译选项,请参阅项目快速开始 (https://github.com/OpenMOSS/MOSS-Image#quick-start)。对于 ComfyUI,在 ComfyUI Manager 中搜索 MOSS-Image 即可安装官方插件。目前已在推进与 ComfyUI 官方仓库的集成。详情请参阅安装和使用指南 (https://github.com/OpenMOSS/MOSS-Image/blob/main/comfyui/README.md) 和示例工作流 (https://github.com/OpenMOSS/MOSS-Image/blob/main/comfyui/moss-image/example_workflows/moss-image.json)。

https://huggingface.co/OpenMOSS-Team/MOSS-Image-Base#sampling-settings采样设置

设置默认值
采样器Flow-matching Euler
步数50
CFG3
Shift5
跳过层负向分支,第 22 层(从零开始计数)
负向提示词空

默认引导策略每步需要两次 transformer 前向传播。传入 uncond\_skip\_layers=\[\] 可禁用负向分支跳过,或设置 negative\_prompt 来提供负向提示词。Python API 的图像尺寸必须为 16 的正整数倍。

分辨率、采样、提示词和 LoRA 训练建议请参阅用户指南 (https://github.com/OpenMOSS/MOSS-Image/blob/main/USERGUIDE.md)。

https://huggingface.co/OpenMOSS-Team/MOSS-Image-Base#prompt-enhancer-skill提示词增强技能

MOSS-Image Prompt Enhancer (https://github.com/OpenMOSS/MOSS-Image/blob/main/skills/moss-image-prompt-enhancer/SKILL.md) 可以将图像创意转化为详细描述或空间布局提示词。它专为具备本地文件和 Python 工具的 GPT-6 系列智能体设计。附带的脚本将像素坐标草稿转换为紧凑的 JSON 格式,使用整数中心坐标;它不会调用图像生成服务。

将该技能文件夹 (https://github.com/OpenMOSS/MOSS-Image/tree/main/skills/moss-image-prompt-enhancer) 安装到智能体的技能目录中,然后使用 $moss\-image\-prompt\-enhancer 并附上你的图像创意、所需的描述或布局输出以及画布尺寸来调用它。将生成的结果粘贴到 MOSS-Image 的正向提示词中;对于布局模式,请使用相同的生成尺寸。

https://huggingface.co/OpenMOSS-Team/MOSS-Image-Base#layout-to-image-generation布局生图

将 JSON 布局作为提示词传入,即可描述场景、渲染文字、物体及其位置。布局使用 summary\.caption 和 items,其中 bbox\_format: "yxyx",bbox\_coord\_space: "abs\_centralized"。

使用 Python API 时,通过 json\.dumps\(layout, ensure\_ascii=False\) 序列化布局并传给 pipe。在 Gradio 中,将 JSON 粘贴到 Prompt 字段并设置匹配的图像尺寸。布局格式及示例请参阅布局提示词(实验性) (https://github.com/OpenMOSS/MOSS-Image/blob/main/USERGUIDE.md#layout-prompts-experimental)。

布局还支持受控编辑和用户友好的布局工具。通过编辑文字、元素描述和边界框,可以结构化地调整图像内容和构图。

布局控制 (https://huggingface.co/OpenMOSS-Team/MOSS-Image-Base/blob/main/assets/showcase/layout-bboxes.webp)

https://huggingface.co/OpenMOSS-Team/MOSS-Image-Base#showcase作品展示

示例总览 (https://huggingface.co/OpenMOSS-Team/MOSS-Image-Base/blob/main/assets/showcase/overview.webp)

示例总览 2 (https://huggingface.co/OpenMOSS-Team/MOSS-Image-Base/blob/main/assets/showcase/overview2.webp)

https://huggingface.co/OpenMOSS-Team/MOSS-Image-Base#citation引用

@misc{mossimage2026, title = {MOSS-Image}, author = {{OpenMOSS Team}}, year = {2026}, howpublished = {\url{https://github.com/OpenMOSS/MOSS-Image}} }

https://huggingface.co/OpenMOSS-Team/MOSS-Image-Base#license-and-acknowledgements许可与致谢

模型权重和附带的推理代码基于 Apache License 2.0 版本发布 (https://huggingface.co/OpenMOSS-Team/MOSS-Image-Base/tree/main/LICENSE)。

我们感谢 Diffusers、Qwen 和 FLUX 团队。

相似文章

OpenMOSS 发布 MOSS-Image

Reddit r/LocalLLaMA

OpenMOSS 发布了 MOSS-Image 家族的新模型 MOSS-Image-SFT,这是一个基于 MOSS-Image-Base 进行监督微调的文本生成图像模型,支持自然语言提示、标签序列和 JSON 布局控制文本位置与物体排列,并提供 diffusers 和 ComfyUI 集成。

Comfy-Org/MOSS-Image

Hugging Face Models Trending

Comfy-Org 发布了 MOSS-Image 模型的 ComfyUI 重打包文件,包含 base 与 SFT 版本的 bf16/int8 权重,以及配套的 Qwen3.5 9B 文本编码器和 Flux2 VAE。

MOSS-Image 技术报告

Hugging Face Daily Papers

MOSS-Image 是一个开源的 50 亿参数扩散 Transformer,融合了高保真图像合成与意图感知的提示词增强能力,可实现双语长文本渲染与布局一致性生成,并在全新的 LongLongTextBench 和 RealLayoutArena 基准测试上取得了开源模型的最先进结果。

black-forest-labs/flux-3-image-klein-comfy

Hugging Face Models Trending

Black Forest Labs 发布 FLUX 3 Image Klein 的 ComfyUI 打包版本,这是一个 5.6B 参数的开放权重模型,统一支持文生图、单参考图编辑和多参考图合成,并支持提示词上采样器与多种量化格式。