WeVisOne-VL：从对象到像素的统一视觉感知
摘要
WeVisOne-VL (WeChat Vision All-in-One) 是一个统一对象级与像素级视觉感知的视觉语言模型，通过结构化 token 预测与轻量像素解码器支持检测、定位、计数、OCR、分割和抠像等任务，在30多个基准上取得领先性能，并已开源 2B/4B 模型。
现有的视觉语言模型（VLM）在细粒度视觉感知方面仍不可靠。在本报告中，我们提出了 WeVisOne-VL（WeChat Vision All-in-One），这是一款强大的视觉语言模型，通过结构化的下一词元预测统一了对象级和像素级感知。它支持多种视觉任务，包括目标检测、指代表达定位、计数、光学字符识别（OCR）、分割和抠图，能够以用户指定的任意粒度进行定位，涵盖点、边界框、掩码和 Alpha 蒙版。在架构上，我们通过特殊的 <OBJ> 词元将轻量级像素解码器集成到视觉语言模型中，以生成实例级像素输出。我们采用三阶段课程式监督微调（SFT）来训练模型，随后进行混合任务强化学习（RL）。在超过 30 个基准测试中，WeVisOne-VL 在对象级和像素级任务上均展现出领先性能，同时对于目标不存在的查询保持稳健的拒绝能力。通过向开源社区发布 WeVisOne-VL，我们希望推动车视觉语言模型从广泛的视觉理解迈向真正可靠、可部署于现实世界的感知系统。
查看缓存全文
缓存时间: 2026/10/28 01:37
论文页面 - WeVisOne-VL：从对象到像素的统一视觉感知 来源：https://huggingface.co/papers/2610.31329 ## 摘要 WeVisOne-VL 通过结构化词元预测统一对象级和像素级视觉感知，借助轻量级像素解码器和多阶段训练，支持检测、定位、计数、OCR、分割和抠图。现有视觉语言模型 (https://huggingface.co/papers?q=vision-language%20models)（VLM）在细粒度视觉感知方面仍不可靠。在本报告中，我们提出 WeVisOne-VL（WeChat Vision All-in-One，微信视觉一体化模型），这是一款强大的 VLM，通过结构化下一词元预测 (https://huggingface.co/papers?q=structured%20next-token%20prediction)统一对象级和像素级感知 (https://huggingface.co/papers?q=pixel-level%20perception)。它支持多种视觉任务，包括对象检测、指代表达定位、计数、OCR、分割和抠图，可按用户指定的任意粒度进行定位，从点和边界框到掩码和 Alpha 蒙版。在架构上，我们通过特殊词元 (https://huggingface.co/papers?q=%3COBJ%3E%20token)将轻量级像素解码器 (https://huggingface.co/papers?q=pixel%20decoder)集成到 VLM 中，以生成实例级像素输出。我们采用三阶段课程式监督微调（SFT） (https://huggingface.co/papers?q=curriculum%20SFT)训练模型，随后进行混合任务强化学习（RL） (https://huggingface.co/papers?q=mixed-task%20RL)。在 30 多项基准测试中，WeVisOne-VL 在对象级和像素级任务上均展现出领先性能，同时对目标对象不存在的查询 (https://huggingface.co/papers?q=object-absent%20queries)保持稳健的拒绝响应能力。通过向开源社区发布 WeVisOne-VL，我们希望推动 VLM 从广泛的视觉理解迈向真正可靠、可用于现实世界部署的感知系统。查看 arXiv 页面 (https://arxiv.org/abs/2610.31329)查看 PDF (https://arxiv.org/pdf/2610.31329)项目页面 (https://tencent.github.io/WeVisOne-VL)GitHub310 (https://github.com/Tencent/WeVisOne-VL)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.31329) ## 引用此论文的模型2 #### tencent/WeVisOne-VL-4B 图像与文本转文本• 5B• 约 21 小时前更新 • 3.79k • 67 (https://huggingface.co/tencent/WeVisOne-VL-4B) #### tencent/WeVisOne-VL-2B 图像与文本转文本• 2B• 约 21 小时前更新 • 3.09k • 51 (https://huggingface.co/tencent/WeVisOne-VL-2B) ## 引用此论文的数据集0 暂无关联此论文的数据集 在数据集的 README.md 中引用 arxiv.org/abs/2610.31329，即可从此页面关联该数据集。 ### 引用此论文的 Spaces4 ## 包含此论文的合集7 浏览包含此论文的 7 个合集 (https://huggingface.co/collections?paper=2610.31329)
相似文章
OneSearch-VL：面向图像与视频的统一多模态深度研究智能体
该论文提出 OneSearch-VL，一个以视觉接地证据图（VGEG）为核心的统一多模态深度研究智能体，用于单图、多图和视频研究任务，并构建了 SFT/RL 数据集及细粒度评测基准，在多个图文与视频基准上显著超越 Qwen3-VL-8B。
LiquidAI/LFM3-VL-2B
Liquid AI 发布 LFM3-VL-2B，一款面向端侧视觉理解的 1.92B 视觉语言模型，支持文本、图像和视频输入，并引入视频理解、逐步思考以及空间与具身推理能力。
omlab/VLX-Seek-1.5-10B · Hugging Face
VLX-Seek-1.5-10B 是 omlab 推出的开源 10B 视觉语言模型，专为无人机、机器人和监控等具身场景中的细粒度视觉定位而设计，采用区域引用定位而非坐标生成。
PolyOCR-Venus：面向文本中心视觉智能的统一 OCR 基础模型
PolyOCR-Venus 提出了一系列统一的 OCR 基础模型，结合共享指令框架、大规模数据引擎与能力引导的策略优化（Competence-Guided Policy Optimization），并发布了修订版 OCRBench v2.1 基准，在多个文档理解基准上达到了最先进的性能。
@jiqizhixin: 如果你的AI能像流媒体编解码器一样“看”视频——只把令牌花在最关键的时刻？介绍……
LLaVA-OneVision-2 引入了编解码流令牌化技术以实现高效的视频理解，在时间与空间基准测试上显著超越 Qwen3-VL-8B。模型、数据和代码均已开源。