视觉作为统一多模态生成
摘要
本文介绍 SenseNova-Vision，一个统一的多模态模型，将计算机视觉任务表述为生成问题，在多种视觉任务上实现了与专用系统相当的性能。它引入了一个大规模指令-响应语料库，并公开发布模型和数据集。
查看缓存全文
缓存时间: 2026/07/08 06:48
论文页面 - 视觉即统一多模态生成
来源：https://huggingface.co/papers/2607.06560 作者：
,
,
,
,
,
,
,
,
,
,
,
,
,
,
摘要
一种统一多模态模型将计算机视觉任务表述为使用自然语言和视觉提示的生成问题，在多种视觉任务上取得了与专用系统相当的性能。
我们将计算机视觉表述为统一多模态生成（https://huggingface.co/papers?q=multimodal%20generation），其中异构视觉任务在统一多模态模型（https://huggingface.co/papers?q=unified%20multimodal%20model）的原生文本和图像生成空间中表达，无需任务特定的架构。在此框架下，SenseNova-Vision 使用自然语言指令和可选视觉提示来指定任务、目标区域或视角以及解码约定，并生成响应：符号输出用文本，密集空间预测用图像，组合任务用混合文本-图像输出。为支持大规模训练，我们将多样化的计算机视觉标注转换为与这些生成空间兼容的指令-响应示例（https://huggingface.co/papers?q=instruction-response%20examples），从而构建了 SenseNova-Vision 语料库（https://huggingface.co/papers?q=SenseNova-Vision%20Corpus），这是一个涵盖文本、图像和混合目标的计算机视觉指令-响应语料库。SenseNova-Vision 从现成的预训练统一多模态模型（https://huggingface.co/papers?q=pretrained%20unified%20multimodal%20model）出发，主要在此语料库上训练，并辅以作为能力保持混合物的多模态数据，无需任务特定的预测头或架构修改。最终模型覆盖了广泛的视觉任务，包括检测、OCR、关键点估计、分割（https://huggingface.co/papers?q=segmentation）、深度估计、表面法线预测、点云和相机位姿估计，同时支持由语言定义的变体，这些变体结合了类别、颜色、区域和其他视觉线索。实验表明，单一统一模型可以在结构化视觉理解、密集几何预测（https://huggingface.co/papers?q=dense%20geometric%20prediction）、分割（https://huggingface.co/papers?q=segmentation）和多视图视觉几何（https://huggingface.co/papers?q=multi-view%20visual%20geometry）方面与领先的任务专用系统（https://huggingface.co/papers?q=task-specialized%20systems）相媲美。这些结果表明，统一多模态生成（https://huggingface.co/papers?q=multimodal%20generation）是将计算机视觉能力集成到通用基础模型中的可扩展路径。该模型和语料库已公开提供。
查看 arXiv 页面（https://arxiv.org/abs/2607.06560）查看 PDF（https://arxiv.org/pdf/2607.06560）GitHub5（https://github.com/OpenSenseNova/SenseNova-Vision）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2607.06560）
在你的代理中获取此论文：
hf papers read 2607.06560
没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash
引用此论文的模型1
sensenova/SenseNova-Vision-7B-MoT 深度估计• 更新于 11 分钟前 • 33 • 6（https://huggingface.co/sensenova/SenseNova-Vision-7B-MoT）
引用此论文的数据集2
sensenova/SenseNova-Vision-Corpus-50M 查看器• 更新于 8 分钟前 • 900 • 4 • 1（https://huggingface.co/datasets/sensenova/SenseNova-Vision-Corpus-50M）
sensenova/SenseNova-Vision-Benchmark 预览• 更新于 11 分钟前 • 3 • 1（https://huggingface.co/datasets/sensenova/SenseNova-Vision-Benchmark）
引用此论文的 Spaces1
包含此论文的集合1
相似文章
SenseNova-U1：基于 NEO-unify 架构统一多模态理解与生成
本文介绍了 SenseNova-U1，这是一种统一的多模态架构，整合了理解与生成任务。我们发布了两个变体（8B 和 30B），在感知能力和图像合成方面均表现出竞争力的性能。
@AdinaYakup: SenseNova-Vision 商汤科技的新模型将所有计算机视觉视为生成任务 - 7B - CC BY-NC 4.0 (非商业性…
商汤科技发布了SenseNova-Vision，这是一个7B参数的模型，将所有计算机视觉任务统一为生成任务，并提供了开放权重、指令语料库、基准、论文和演示。
sensenova/SenseNova-U1-8B-MoT
SenseNova U1 是基于 NEO-Unify 框架构建的新一代原生多模态模型系列，在单一架构内统一了理解与生成能力，无需单独的视觉编码器或 VAE。
通过理解监督引导统一多模态模型中的视觉生成
本文介绍了 UNO，这是一种以理解为导向的后训练框架，利用理解任务作为监督信号，以增强统一多模态模型中的图像生成和编辑能力。
视频生成模型是通用视觉学习者
本文提出，大规模文本到视频生成可作为计算机视觉的强大预训练范式，介绍了GenCeption，它在多种视觉任务上实现了最先进的性能，具有高数据效率和向未见领域的涌现泛化能力。