标签
一项可在笔记本电脑上完成的复现实验,仅使用 COCO 人工撰写的图像描述和 1100 万参数的文本编码器,验证了 Balestriero 和 LeCun 关于“优质视图胜过下一词元预测”的主张,确认了性能排序(在与 DINOv2 的相互 10 近邻指标上,优质视图为 0.320 > 劣质视图为 0.192 > 下一词元预测为 0.148),同时指出检索性能差距较小,且存在规模限制。
该论文挑战了离散视觉令牌必然存在语义损失的假设,提出因子化向量量化(Factorized Vector Quantization),在多模态理解上达到与连续视觉表示相当的水平,并在离散表示模型中取得最先进性能。
NLD-Uni 提出一个统一的离散扩散大语言模型,通过跨范式在策略蒸馏和渐进式自我精炼扩散,将自回归 VLM 的视觉理解能力与连续流模型的视觉生成能力统一起来,在多项视觉理解与生成任务上达到统一 DLLM 中的最先进性能。
论文提出 SAGE——一个统一的10候选图像选择基准,将 VWSD、VerSe 和 WikiDiverse 重构为共享的词项中心协议,并提出训练无关的释义增强推理(GAR)框架,使用 Gemma3-12B 将 Hits@1 从 65.90 提升至 71.22。
ALPS 是一种面向世界模型的预训练 ViT-B/16 视觉状态编码器,将物理状态预测、语言对齐和像素重建统一于单一的图像块词元表示中,其状态探针性能可媲美规模大 3.5 倍的 V-JEPA 2-L,并且在搭配其原生文本塔时,在 LIBERO 上实现了 85.5% 的平均策略成功率。
该论文提出了一个名为JUPE的视觉问答基准,发现普通的看似合理的解释就足以误导14个多模态大模型评判者,使错误答案的拒绝率下降约12.7-13.8个百分点,研究者将此现象称为“plausibility capture”。
NVIDIA 发布 Nemotron 3.5 Super VL,一款 120B 参数的多模态混合专家(MoE)模型,每 token 激活 12B 参数,面向企业级智能体工作流,支持文本、图像、文档和视频理解,单 GPU 上吞吐量较同类开源模型提升高达 5 倍,并可通过 NeMo 进行后训练定制。
Meta 的 Muse Spark Open(816B 总参数/42B 激活)与 NVIDIA Nemotron 3.5 Super VL(120B 总参数/12B 激活)现已上线 Dell Enterprise Hub,分别支持 SGLang 与 vLLM 部署,面向编码、智能体任务及文档与视频理解。
NVIDIA 的 Nemotron 3.5 Super VL 现已在 River API 上可用于推理、微调和 RL。据称,该模型在未经训练的情况下在 text-to-SQL 评测中已优于 Kimi K2.6,并且经过训练后可以超越 Astra 和 Opus 5.5。
AfterQuery 宣布对 NVIDIA Nemotron 3.5 Super VL 进行金融信用任务后训练,与 Hebbia 合作将 Perfect solved 指标从 47% 提升至 74%,超过 Sol 6 并接近 Astra 6,成本约为其 1/7。
NVIDIA 推出开源权重的 Nemotron 3.5 Super VL 视觉语言模型(120B 总参数、12B 激活),通过 ChatNVIDIA 集成为 Deep Agents 带来视觉、推理与工具使用能力,并在行为套件与速度基准上表现突出。
NVIDIA 发布开放的 Nemotron 3.5 Super VL(1200 亿参数级多模态模型)及两款边缘模型 Bolt 74B-A9B 24GB 与 Bolt E4B 4GB,覆盖从数据中心到本地边缘设备的全场景智能体部署需求。
NVIDIA 发布了 Nemotron 3.5 Super VL 120B-A12B 模型家族——一个总参数 120B、激活参数 12B 的视觉语言模型,采用 Mamba-2/MoE 混合架构,配备 C-RADIO 视觉编码器,支持 100 万 token 上下文,并通过 MTP 实现原生投机解码——提供 BF16、NVFP4 等多种变体,采用 OpenMDW-1.1 许可证。
该论文通过受控消融实验研究原生多模态预训练中视觉信号对扩展行为的影响,发现视觉内容作为可扩展锚点不仅能提升多模态理解,其收益还能延伸到纯文本空间推理任务(如定位、导航和符号规划),同时不损害整体语言性能。
CoDA 提出一种仿真数据引擎与机器人动作策略协同演进的框架,通过共享失败与学习进展记忆、视觉语言诊断以及 Text2potential 分阶段势能奖励,将机器人操作任务的分布外成功率从 5.3% 提升至 27.6%,并在 LIBERO-Pro 上取得显著改善。
VLX-Go 提出一种视觉-语言航点策略,通过多阶段多模态训练(视觉-语言对齐、多模态推理、追踪专项化)和在线策略优化,显著提升机器人在干扰物环境中跟踪目标人物的成功率,达到 58.22%,并在对比方法中取得最佳的干扰物与模糊场景追踪成绩。
提出一种免重训练的方法,将预训练 Transformer 转化为可弹性伸缩的模型。通过联合排序并软剪枝单个 MLP 神经元和注意力头,在多种稀疏度目标下连续自适应计算预算,在 27 个视觉与文本 Transformer 编码器上实现了最高 60% 稀疏度下的平滑性能衰减。
OmniCompass 提出了一个面向全模态视频定位与理解的整体基准,涵盖视觉-语言与音视频两条评测轨道,包含时间定位、空间定位与问答三类任务,并对50个多模态大模型进行了系统评估。研究发现开源模型在音视频理解上仍落后于闭源模型,精确的时间与空间定位对领先模型而言仍具挑战性。
该论文提出 PORTAL,一种无需配对图像-文本数据、基于最优传输的多模态投影器初始化方法,可以完全跳过投影器训练阶段,在六个 LLM 主干和 16 个基准上匹敌使用 558k 图文对的标准训练流程。
论文提出 COMPASS(兼容性评估分数),通过测量局部邻域重叠与范式上限,在对齐或合并之前低成本预测模型对的兼容性,在 72 个跨模态对齐实验和 392 个任务算术合并中与下游成功度高度相关(皮尔逊相关系数分别达 0.91 和 0.70)。