sensenova/SenseNova-U1-8B-MoT · Hugging Face

来源：https://huggingface.co/sensenova/SenseNova-U1-8B-MoT

https://huggingface.co/sensenova/SenseNova-U1-8B-MoT#sensenova-u1-unifying-multimodal-understanding-and-generation-with-neo-unify-architectureSenseNova-U1：基于 NEO-Unify 架构统一多模态理解与生成

English|简体中文 (https://huggingface.co/sensenova/SenseNova-U1-8B-MoT/blob/main/README_CN.md)

arXiv (https://huggingface.co/sensenova/SenseNova-U1-8B-MoT#)SenseNova-U1 (https://github.com/OpenSenseNova/SenseNova-U1/tree/main)HuggingFace Model (https://huggingface.co/collections/sensenova/sensenova-u1)ModelScope-模型 (https://modelscope.cn/collections/SenseNova/SenseNova-U1)SenseNova-U1 Demo (https://unify.light-ai.top/)License (https://huggingface.co/sensenova/LICENSE)Discord (https://discord.gg/cxkwXWjp)

SenseNova-U1

可视化

https://huggingface.co/sensenova/SenseNova-U1-8B-MoT#%F0%9F%8C%9F-overview🌟 概述

🚀SenseNova U1是一系列原生多模态模型，在单一架构内统一了多模态理解、推理与生成。它标志着多模态 AI 的根本范式转变：从模态集成到真正的统一。SenseNova U1 模型不再依赖适配器在不同模态间进行转换，而是以原生的方式在语言和视觉之间进行思考与行动。

视觉理解与生成的统一开启了巨大的可能性。SenseNova U1 目前处于数据驱动学习阶段（类似 ChatGPT），但已指向下一阶段，即智能体学习（类似 OpenClaw），并以原生多模态的方式进行思考。

雷达图

https://huggingface.co/sensenova/SenseNova-U1-8B-MoT#%F0%9F%8F%97%EF%B8%8F-key-pillars🏗️核心支柱：

SenseNova U1 的核心是NEO-Unify (https://huggingface.co/blog/sensenova/neo-unify)，这是一种从零开始为的多模态 AI 设计的新型架构：*它同时消除了视觉编码器（VE）和变分自编码器（VAE），使像素与文字信息实现内在且深度的关联。*其几个重要特性如下：

• 🔗 端到端地将语言和视觉信息建模为统一的复合体。
• 🖼️ 在保持像素级视觉保真度的同时保留语义丰富性。
• 🧠 通过原生 MoT 以高效率、低冲突的方式跨模态推理。

https://huggingface.co/sensenova/SenseNova-U1-8B-MoT#%E2%9C%A8-what-this-unlocks✨这带来的突破：

在这一全新核心架构的驱动下，SenseNova U1 在多模态学习中展现出卓越的效率：

左图：在 OneIG（EN、ZH）、LongText（EN、ZH）、CVTG、BizGenEval（Easy、Hard）和 IGenBench 上的预测延迟与平均性能对比。右图：在信息图基准（BizGenEval、IGenBench）上的预测延迟与平均性能对比。

• 🏆开源领域理解与生成双料 SOTA：SenseNova U1 为统一多模态理解与生成树立了新标杆，在广泛的理解、推理和生成基准测试中，于开源模型中实现了最先进的性能。
• 📖原生交错图文生成：SenseNova U1 能够用单一模型在单次流程中生成连贯的交错文本与图像，支持实用指南、旅行日记等应用场景，将清晰表达与生动叙事相结合，将复杂信息转化为直观的视觉呈现。
• 📰高密度信息渲染：SenseNova U1 在密集视觉通信方面展现出强大能力，能够为知识图解、海报、演示文稿、漫画、简历等信息丰富的格式生成结构丰富的版面设计。

https://huggingface.co/sensenova/SenseNova-U1-8B-MoT#%F0%9F%8C%8D-beyond-multimodality🌍超越多模态：

• 🤖 视觉-语言-动作（VLA）
• 🌐 世界模型（WM）

https://huggingface.co/sensenova/SenseNova-U1-8B-MoT#%F0%9F%A6%81-models🦁 模型

本次发布中，我们开源了 SenseNova U1 Lite 系列的两个尺寸：

• SenseNova U1-8B-MoT — 稠密骨干网络
• SenseNova U1-A3B-MoT — MoE 骨干网络

模型参数量HF 权重SenseNova-U1-8B-MoT-SFT8B MoT🤗 链接 (https://huggingface.co/sensenova/SenseNova-U1-8B-MoT-SFT)SenseNova-U1-8B-MoT8B MoT🤗 链接 (https://huggingface.co/sensenova/SenseNova-U1-8B-MoT)SenseNova-U1-8B-MoT-LoRA-8step-V1.00.4B🤗 链接 (https://huggingface.co/sensenova/SenseNova-U1-8B-MoT-LoRAs/blob/main/SenseNova-U1-8B-MoT-LoRA-8step-V1.0.safetensors)SenseNova-U1-A3B-MoT-SFTA3B MoT🤗 链接SenseNova-U1-A3B-MoTA3B MoT🤗 链接 其中SFT 模型（×32 下采样率）经过理解预热、生成预训练、统一中训练和统一 SFT 训练，最终模型则经过了一轮 T2I RL 训练获得。

尽管按当今标准来看相对紧凑，但这些模型已在多种任务上展现出强劲性能，可与商业模型媲美，且具有出色的成本效益。值得注意的是，更大规模的版本已计划在未来进一步提升能力和性能。

https://huggingface.co/sensenova/SenseNova-U1-8B-MoT#%F0%9F%93%A3-updated-news📣 更新动态

• \[2026\.04\.27\]SenseNova-U1-8B-MoT-SFT (https://huggingface.co/sensenova/SenseNova-U1-8B-MoT-SFT)和SenseNova-U1-8B-MoT (https://huggingface.co/sensenova/SenseNova-U1-8B-MoT)权重首次发布。
• \[2026\.04\.27\]SenseNova-U1 推理代码 (https://github.com/OpenSenseNova/SenseNova-U1/blob/main/examples/README.md)首次发布。

https://huggingface.co/sensenova/SenseNova-U1-8B-MoT#%F0%9F%93%8B-todo-list📋 待办清单

• SenseNova-U1 训练代码
• SenseNova-U1 最终权重与技术报告

https://huggingface.co/sensenova/SenseNova-U1-8B-MoT#%F0%9F%8E%A8-showcases🎨 展示案例

🖼️ 文生图（通用）🖼️ 文生图（推理）原始文本推理过程生成图像一只雄性孔雀试图吸引雌性1.**指令理解：**核心主体是一只雄性孔雀。动作是雄性孔雀试图吸引雌性。2.**推理过程：**雄性孔雀通过将尾羽展开成巨大、彩色的圆形展示来执行这一仪式。3.**构建画面：**画面以全身镜头捕捉雄性孔雀，展示完整的展示效果。角度为平视，以突出尾羽的高度。4.**设置光影与色彩：**自然光照亮彩色的圆形展示，带有柔和的阴影。色调以尾羽上鲜艳的蓝色和绿色为主。5.**确定风格：**风格为写实照片，对雄性孔雀进行清晰对焦。效果自然，不使用艺术滤镜。6.**明确提示词：**一只鲜艳的雄性孔雀，尾羽完全展开，呈现出宽阔的蓝绿色虹彩展示，站在花园中。

一小块干木头和一块致密的铁块放在透明水箱中1.**指令理解：**核心主体是一小块干木头和一块致密的铁块，放置在一个透明水箱内。木头漂浮在水面，铁块沉在底部。2.**推理过程：**木头密度小于水，所以会漂浮；铁密度更大，会沉到底部。3.**构建画面：**构图采用垂直中景镜头，将矩形水箱置于画面中央。相机角度为平视，以清晰展示水位线和底部沉物。对焦在整个水箱深度范围内保持清晰，确保两种材料都清晰可辨。4.**构建环境：**场景完全包含在透明玻璃水箱壁内。水填充了大部分容积，为漂浮的木头和下沉的铁块提供介质。背景保持虚化，以将注意力集中在水箱内部。5.**设置光影与色彩：**柔和的自然光从左侧照亮场景，在水面形成轻柔的反射。色调以木头的棕色纹理与铁的深灰金属质感形成对比。阴影柔和，通过液体扩散。6.**明确提示词：**一张透明水箱的写实照片，展示一块木头漂浮在水面，一块铁块 resting 在底部。

那不勒斯所在国家的典型菜肴1.**指令理解：**核心主体是一道作为典型菜肴的那不勒斯披萨。背景指定那不勒斯，意大利，作为这道菜的发源地。2.**推理过程：**那不勒斯在意大利，经典菜肴是那不勒斯披萨。3.**构建画面：**那不勒斯披萨以特写镜头拍摄，填满画面中央。角度略微抬高，以清晰展示这道菜的圆形外观。4.**设置光影与色彩：**柔和的光线照亮那不勒斯披萨的表面，展现质感。暖色调主导色调，强调菜肴的烘焙特性。5.**确定风格：**图像采用写实摄影风格，对主体清晰对焦。效果自然诱人，适合美食记录。6.**明确提示词：**一份美味的那不勒斯披萨，带有柔软、焦脆的饼皮、番茄酱和新鲜马苏里拉奶酪，放在 rustic 木桌上，写实美食摄影。

碳酸钙溶液与乙酸反应1.**指令理解：**核心主体是碳酸钙和乙酸的溶液。提示词指定了化学混合物的反应状态。2.**推理过程：**反应产生二氧化碳气体，会以稳定的气泡流形式在液体中可见地上升。3.**构建画面：**相机近距离取景以捕捉反应细节。构图以液体为中心，气体在此处可见。4.**设置光影与色彩：**液体呈现清澈，使白色气泡格外突出。光线明亮均匀，照亮气流。5.**确定风格：**图像保持适合科学观察的写实摄影风格。对焦在反应溶液和气泡上清晰锐利。6.**明确提示词：**一根试管，装满清澈液体，快速、起泡的二氧化碳气泡流上升向表面，实验室实验。

🖼️ 文生图（信息图）t2i landscape 0010 (https://huggingface.co/sensenova/docs/assets/showcases/t2i_infographic/0000.webp)t2i landscape 0011 (https://huggingface.co/sensenova/docs/assets/showcases/t2i_infographic/0003.webp)t2i landscape 0012 (https://huggingface.co/sensenova/docs/assets/showcases/t2i_infographic/0001.webp)t2i landscape 0012 (https://huggingface.co/sensenova/docs/assets/showcases/t2i_infographic/0022.webp)t2i image 0022 (https://huggingface.co/sensenova/docs/assets/showcases/t2i_infographic/0016.webp)t2i image 0020 (https://huggingface.co/sensenova/docs/assets/showcases/t2i_infographic/0010.webp)t2i image 0021 (https://huggingface.co/sensenova/docs/assets/showcases/t2i_infographic/0007.webp)t2i image 0023 (https://huggingface.co/sensenova/docs/assets/showcases/t2i_infographic/0021.webp)t2i image 0024 (https://huggingface.co/sensenova/docs/assets/showcases/t2i_infographic/0014.webp)t2i image 0025 (https://huggingface.co/sensenova/docs/assets/showcases/t2i_infographic/0028.webp)t2i image 0026 (https://huggingface.co/sensenova/docs/assets/showcases/t2i_infographic/0033.webp)t2i image 0027 (https://huggingface.co/sensenova/docs/assets/showcases/t2i_infographic/0002.webp)t2i image 0028 (https://huggingface.co/sensenova/docs/assets/showcases/t2i_infographic/0031.webp)t2i image 0029 (https://huggingface.co/sensenova/docs/assets/showcases/t2i_infographic/0030.webp)t2i image 0030 (https://huggingface.co/sensenova/docs/assets/showcases/t2i_infographic/0032.webp)t2i image 0031 (https://huggingface.co/sensenova/docs/assets/showcases/t2i_infographic/0029.webp)> 📸**更多生成样本：**参见图像生成画廊 (https://github.com/OpenSenseNova/SenseNova-U1/blob/main/docs/showcases.md#text-to-image)。

✏️ 图像编辑（通用）editing input 1 (https://huggingface.co/sensenova/examples/editing/data/images/1.webp)editing output 1 (https://huggingface.co/sensenova/docs/assets/showcases/editing/1_out.webp) 将左侧人物的夹克改为亮黄色。

editing input 3 (https://huggingface.co/sensenova/examples/editing/data/images/3.webp)editing output 3 (https://huggingface.co/sensenova/docs/assets/showcases/editing/3_out.webp) 在小狗头上放一个花环，并且把图片变为吉卜力风格。

editing input 2 (https://huggingface.co/sensenova/examples/editing/data/images/2.webp)editing output 2 (https://huggingface.co/sensenova/docs/assets/showcases/editing/2_out.webp) 让图片中的人物笑起来。

editing input 4 (https://huggingface.co/sensenova/examples/editing/data/images/4.webp)editing output 4 (https://huggingface.co/sensenova/docs/assets/showcases/editing/4_out.webp) 添加一束花。

editing input 8 (https://huggingface.co/sensenova/examples/editing/data/images/8.webp)editing output 8 (https://huggingface.co/sensenova/docs/assets/showcases/editing/8_out.webp) 将男性替换为女性。

editing input 6 (https://huggingface.co/sensenova/examples/editing/data/images/6.webp)editing output 6 (https://huggingface.co/sensenova/docs/assets/showcases/editing/6_out.webp) 将文字 “WARFIGHTER” 替换为 “BATTLEFIELD”，使用粗体橙红色字体。

✏️ 图像编辑（推理）原始文本原始图像推理过程生成图像画出一小时后的样子。1.**源图像分析：**源图像显示一杯热茶，茶叶正在浸泡，水看起来相对清澈。2.**指令理解：**指令要求展示一小时后的样子。3.**推理过程：**随着时间推移，单宁和色素会渗出，使茶明显变深、颜色更均匀，茶叶可能因浸泡而显得更膨胀、更深。4.**预期视觉变化：**预期的可见结果是更深的琥珀色至棕色茶汤，以及更充分饱和的液体。5.**需保留的元素：**玻璃杯、周围散落的茶叶、背景和相机角度应保持不变。6.**明确编辑提示词：**将茶汤编辑为更深、更饱和的琥珀棕色，如同完全浸泡；让茶叶看起来略深、更膨胀，同时保持玻璃杯、周围茶叶、背景和构图不变。

画出有人长时间坐在上面后立刻起来的样子。1.**源图像分析：**源图像显示一个蓬松的酸橙绿色豆袋椅，在白色背景上看起来均匀饱满、未被触碰。2.**指令理解：**编辑指令要求展示有人长时间坐在上面后立刻起来的样子。3.**推理过程：**长时间的重量会压缩织物和内部填充物，留下凹陷的座位区域、向外辐射的褶皱，以及缓慢恢复的形状。4.**预期视觉变化：**可见结果应该是人坐过的地方有明显的凹陷和褶皱。5.**需保留的元素：**背景、豆袋椅颜色、光线和相机角度应保持不变，只有豆袋椅的形状显示出压缩。6.**明确编辑提示词：**编辑豆袋椅，使其中心显示清晰的坐压凹陷，周围有褶皱和略微压缩的织物，同时保持白色背景、光线和相机角度不变。

将左侧人物的夹克改为亮黄色。