标签
提出 ScreenRef 高质量 GUI grounding 数据集(58.6 万张截图、63.3 万条指代表达实例)和蒸馏强化学习(D2RL)训练方法,训练出 GroundGUI-8B,在 ScreenSpot-V2 等多个基准上取得 8B 级模型中的领先性能。
NVIDIA 发布了 NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4,这是一款采用 NVFP4 量化的视觉语言模型,拥有 1200 亿总参数/120 亿激活参数,采用 Mamba-2 混合 MoE 架构,配备 C-RADIO 视觉编码器,支持最高 100 万 token 的上下文窗口,并原生支持多 token 预测以实现投机解码,采用 OpenMDW-1.1 许可证,可用于商业和非商业用途。
提出一种无需人工偏好标注的多模态奖励建模方法:在冻结的 Qwen3-VL 骨干网络的中间层上训练线性探针,通过扰动字幕对比进行训练,在多个基准上达到或超过 GPT-4o,且微调计算量仅为千分之一。
提出一种通过蒸馏最优传输在仅有100-500个配对样本下对齐两个独立预训练单模态编码器的方法,在Flickr30k、MS-COCO和ChEBI-20上以相同锚点预算超越现有方法。
VEDJE是一种面向可扩展视频-文本检索的视频高效判别式联合编码器,能够将每个视频压缩为仅48 KiB的时序结构化缓存,并利用轻量级的3300万参数联合编码器,在MSR-VTT上达到59.8的R@1,其在线参数量比LamRA少约49倍。
微软发布 AesCode-8B 与 AesCode-32B 模型,可依据图像美学参考生成信息丰富的可视化产物(如幻灯片、海报、仪表盘)为结构化 HTML/CSS 代码,通过图结构监督与解耦的跨模态奖励解决视觉布局与内容准确性的权衡。
LightOn 发布新一代轻量级端到端 OCR 模型 LightOnOCR-3 系列,其中 4B 版本采用 Qwen3.5 视觉-语言架构,新增 grounding(带边界框的布局标签)、图像描述和图表数据提取等视觉理解能力,全部以 Apache 2.0 许可开源。
介绍 Jag,一个 0.8B 视觉定位模型,通过单次前向传播直接预测边界框而非自回归生成坐标,在保持与 LocateAnything 相当精度的同时,速度提升 3.62 倍、峰值 GPU 显存降低 73.88%,并开源了模型权重、代码与在线演示。
论文提出了 Rationale-Guided Policy Optimization(RGPO)框架,该框架在 on-policy 强化学习过程中将 ground-truth rationales 自适应地用作临时脚手架,以缓解奖励稀疏问题;在纯语言和视觉-语言推理场景中,该方法均取得了优于 RLVR 基线的稳定性能提升。
UltraText Bench 是一个双语(英文/中文)基准,包含 24 个场景类别、432 条提示词,用于评估图像生成模型中密集视觉文字的渲染能力。该基准由 Q-Judge 视觉语言模型从文字保真度、清晰度、空间质量和场景质量四个维度进行评分,并揭示了 Z-Image-Turbo 与 Z-Image-Base 等不同模型变体之间明显的权衡关系。
Liquid AI 发布了带视觉能力的 d1,使其首个决策模型能够处理图像、文本或两者兼具。基准测试显示,在真实世界应用中,它的表现与 GPT-6.1 Sol 和 Claude Opo 5.5 等前沿模型持平甚至更优,同时保持着快速与低成本的优势。
LiquidAI 发布了 d1-3B,这是一个基于 LFM2.5-VL-3B 构建的开源 30 亿参数多模态决策模型,能在单次前向传播中对文本/JSON/图像状态的类型化问题给出答案,且不输出任何 token,在消费级 GPU 上可实现 8 毫秒的决策速度。
UniEvo-VL 是一个自进化框架,让单个多模态模型同时充当教师和学生,通过自身的建设性反馈在无外部监督的情况下提升图像生成能力。
本文提出一种基于 rollout 的训练框架(Anchor-Label Relabelling 与 In-Rollout Anchors),用于在离策略语料上训练的推测解码块草稿模型中恢复完整的监督信号,在不改动训练文本的情况下,将贪心解码下的接受长度较 DFlash 最多提升 36.5%。
OctLLM 用显式的 SparseOctree 占据度 token 表示 3D 几何,并将 mesh token 路由到独立的可训练分支中,同时保持视觉-语言骨干网络冻结,在 image-to-3D 与渲染一致的图像描述任务上超越现有统一多模态 LLM 并刷新 SOTA,同时保留了通用语言能力。
Multimodal Flow 提出了一种用于语言和视觉的完全连续生成架构,采用基于连续嵌入超块(hyperchunk)的共享分块因果流骨干网络。MF-1 在 0.6B 至 1.6B 规模上进行预训练,仅使用 150B tokens,便在 GenEval、DPG-Bench、VQAv2、MMBench 和 POPE 上取得了具有竞争力的表现。
该论文提出了 **Align Then Reason(ATR)**,这是一个多语言、免参考的口型同步评估器:它首先将帧级口型表征与候选台词的语音单元进行对齐,然后利用 LLM 在局部对齐证据与全局评分之上进行推理,以完成配音质量控制。在七种语言以及两项下游配音任务上,该方法相较于 Qwen3.5、LLaMA-3.1 和 Mistral 等 SFT 基线,取得了显著的 AUC 提升。
本文提出了 BeyondSCe,一个零样本机器人抓取系统,能够通过过去的人—物交互行为来识别被指涉的物体,而非依据名称或外观,并主动选择相机视角以显露被遮挡的目标,在真实机器人实验中实现了 76%-77% 的抓取成功率,显著优于基线方法。
Dyna Robotics 发布了 Dyna-2.1,一个具有视觉语言规划器和强化学习控制器的物理智能体,用于长时间自主任务,演示了一个小时长的洗衣工作流程。
本文通过生成顺序干预评估了视觉-语言推理中解释与模型预测之间的因果联系,发现需要更大的模型进行理由优先推理,而答案优先生成能减少格式相关的错误。