vision-language-models

标签

Cards List
#vision-language-models

RxnExBench:面向科学文献中结构化化学反应提取的视觉语言模型基准评测

arXiv cs.AI ↗ · 2026-10-26

该论文提出了 RxnExBench,这是一个包含 3,565 个专家标注反应的多模态基准,用于评估视觉语言模型从科学文献中提取结构化化学反应的能力。对 9 个最先进的视觉语言模型的评估表明,多模态整合与具备化学知识的推理仍是关键瓶颈。

0 人收藏 0 人点赞
#vision-language-models

PEAR:面向大型视觉语言模型中感知与探索的自适应优势重塑

arXiv cs.AI ↗ · 2026-10-26

PEAR提出了一种自适应优势重塑方法,在高熵token位置引入基于熵的探索增益,以改善大型视觉语言模型的感知与探索能力,在Qwen2.5-VL-3B/7B上取得了多模态推理基准的最佳平均表现。

0 人收藏 0 人点赞
#vision-language-models

基于儿童自然情境中的经验扩展跨情境词汇学习

arXiv cs.CL ↗ · 2026-10-26

该论文使用 BabyView 语料库中 2,441 小时的第一视角视频训练对比式视觉语言模型,以检验跨情境词汇学习能力。研究发现,基于互联网数据预训练的视觉表征远优于从儿童发展数据中学到的视觉表征;尽管模型形成了类似人类的语义结构,但其学习轨迹与儿童的学习轨迹存在差异。

0 人收藏 0 人点赞
#vision-language-models

PhysEvolve:基于验证器的自我进化,利用可执行世界进行物理推理

Hugging Face Daily Papers ↗ · 2026-10-26 缓存

PhysEvolve 提出一个验证器驱动的自演化框架,利用物理引擎验证模型自生成的可执行世界与反事实仿真,以 GRPO 训练视觉语言模型的因果物理推理能力,在 PhysBench、CausalPhys 和 ContPhy 上取得显著提升,且无需人类干预数据。

0 人收藏 0 人点赞
#vision-language-models

ChronoReplay:对于流式空间智能而言,一个回答接口是不够的

Hugging Face Daily Papers ↗ · 2026-10-25 缓存

ChronoReplay 是一个针对流式视觉-语言模型的空间推理训练框架,通过按时间顺序组织异构空间监督并进行族平衡训练,缓解接口锁定问题,在 OST-Bench 等基准上取得显著提升。

0 人收藏 0 人点赞
#vision-language-models

询问导演看到了什么,可能改变视觉语言模型的选择

arXiv cs.CL ↗ · 2026-10-22 缓存

本文表明,在“指挥者任务”中,要求视觉语言模型在采取行动前回答指挥者能看到哪些积木,会显著改变模型的选择,使各款 GPT 模型选择隐藏积木的比例提高 12–88 个百分点,Qwen3.8-27B 则提高 17 个百分点。作者认为,视角采择基准需要设置仅在报告问题上有所不同的配对基线,以免误读模型未能运用他人视角的表现。

0 人收藏 0 人点赞
#vision-language-models

目标模型重新生成削弱了推测解码中草稿模型训练目标带来的收益

arXiv cs.CL ↗ · 2026-10-22 缓存

本文表明,重新生成目标模型的回答会缩小知识蒸馏等草稿模型训练目标在推测解码中带来的收益,并通过多项对照实验,在视觉语言(Qwen3-VL-8B)和纯文本(Qwen3-4B)场景中复现了这一发现。

0 人收藏 0 人点赞
#vision-language-models

CellTrack-Bench:面向视觉语言模型的显微细胞追踪基准测试

Hugging Face Daily Papers ↗ · 2026-10-22 缓存

CellTrack-Bench 提出了一个显微细胞追踪基准,涵盖 15 个数据集和 4 种成像模态,对 22 个视觉语言模型与专业追踪器进行对比评估,揭示了前沿模型在推理能力上的显著差距。

0 人收藏 0 人点赞
#vision-language-models

MMedAgent-Plus:跨模态、跨任务与跨工作流扩展多模态医疗智能体

arXiv cs.CL ↗ · 2026-10-21 缓存

MMedAgent-Plus 是一个多模态医疗工具使用智能体,将视觉-语言规划器与 18 个专科模型相结合,覆盖 12 项医疗任务和 8 种模态,能够编排多步临床工作流。其专科模型调用正确率达 90.6%,最终回答准确率为 0.98,远超最强基线(0.28)。

0 人收藏 0 人点赞
#vision-language-models

视觉-语言模型环境感知分布外检测的理论分析

arXiv cs.LG ↗ · 2026-10-21 缓存

这篇论文对持续学习场景下视觉-语言模型的环境感知OOD检测进行了理论分析,提出交叉环境最大概念匹配(MCM)分数,并证明了在环境转移为正且类匹配间隔有界条件下其假阳性率不劣于标准MCM,同时区分了可检测的软OOD与不可检测的硬OOD环境。

0 人收藏 0 人点赞
#vision-language-models

LightCRS:轻量级多域对话推荐系统

arXiv cs.AI ↗ · 2026-10-21 缓存

LightCRS 提出一个轻量级的查询条件化多域多模态对话推荐框架,仅用 5.3M 参数的模块实现跨域共享的证据融合;在新建的 25 域基准 MM-R2A-25 上,将 HR@1 提升 35.4%,并将每查询延迟降低 266 倍。

0 人收藏 0 人点赞
#vision-language-models

SpatialBrain:从经验中生长的空间智能

Hugging Face Daily Papers ↗ · 2026-10-21 缓存

SpatialBrain 是一个通过分离场景证据与推理经验来提升空间推理能力的框架,利用融合空间记忆、可复用技能库和过程记录来引导工具使用,且无需修改视觉-语言骨干网络,在五个空间推理基准上取得了优于或持平直接回答的结果。

0 人收藏 0 人点赞
#vision-language-models

从 VLM 规划器到机器人智能体:面向历史依赖操作的自我进化 Harness

Hugging Face Daily Papers ↗ · 2026-10-21 缓存

论文提出 SERA(Self-Evolving Robotic Agent),通过可编辑的 harness 维护任务上下文并利用执行反馈自我进化规划,配合固定的 VLA 执行器来改进长时程机器人操作任务,在 RoboMME 上取得 51.38% 的成功率。

0 人收藏 0 人点赞
#vision-language-models

迷失于恢复:通过目标导向的动作重放揭示计算机操作智能体的恢复行为

Hugging Face Daily Papers ↗ · 2026-10-20 缓存

ReTrace 是一个可扩展的评估框架,用于系统研究计算机使用智能体的恢复行为,通过在受控错误注入后进行目标导向的动作重放,对转移一致性恢复进行形式化定义。研究发现,理想的恢复能够释放潜在的任务完成能力,当前智能体未能充分发挥其恢复潜力,而准确的基于模型的恢复能够带来可量化的端到端性能提升。

0 人收藏 0 人点赞
#vision-language-models

多模态重排序是一个System One决策

Hugging Face Daily Papers ↗ · 2026-10-20 缓存

论文提出,多模态重排序可以被构建为一个由通用视觉-语言模型在单次前向传播中完成的System One单选问题,实验表明零样本的Qwen3.8-27B在多个检索基准上达到或超越了专门的有监督重排序模型。

0 人收藏 0 人点赞
#vision-language-models

alkhder 在 ImageEval 2026 共享任务中的成果:面向多模态幻觉检测的约束选择与旋转平均 Logit 打分方法

arXiv cs.CL ↗ · 2026-10-19 缓存

本文介绍了 alkhder 团队在 ImageEval 2026 子任务 1b 中的参赛方案,该方案采用零样本 7B 视觉-语言模型,结合约束选择与拉丁方旋转平均 logit 打分技术,在英语和现代标准阿拉伯语上进行多模态幻觉检测,相较于 3B 基线模型,将置信区间得分降低了 80% 以上。

0 人收藏 0 人点赞
#vision-language-models

通过用户手册使计算机使用代理适应新软件

arXiv cs.AI ↗ · 2026-10-19 缓存

论文提出 MAGE 框架,利用用户手册作为可扩展的程序性知识来源,同时改进计算机使用代理(CUA)的推理与训练,在六个应用上提升了任务成功率并减少了对人工标注数据的依赖。

0 人收藏 0 人点赞
#vision-language-models

ShadowFPT:通过影子触发器对联邦提示调优实施后门攻击

arXiv cs.AI ↗ · 2026-10-19 缓存

ShadowFPT 提出了一种针对联邦提示调优(FPT)的后门攻击方法,利用冻结骨干网络的表示空间植入影子触发器,在保持提示更新隐蔽的同时将攻击成功率从 19.81% 提升至 90.36%。研究表明,仅依赖提示更新异常检测的防御措施不足以应对此类攻击。

0 人收藏 0 人点赞
#vision-language-models

# 论规模的局限性:视觉-语言模型中的逆向缩放现象

Hugging Face Daily Papers ↗ · 2026-10-19 缓存

这篇论文提供了系统性的证据,表明视觉-语言模型在子任务层面会出现逆向扩展现象,即在空间推理、视觉感知和 STEM 问题等任务上,更大的模型反而表现不如更小的模型,这表明模型选择应当根据具体任务来决定。

0 人收藏 0 人点赞
#vision-language-models

InfiniDream:通过程序化生成构建开放式的照片级真实 3D 世界

Hugging Face Daily Papers ↗ · 2026-10-19 缓存

InfiniDream 是一个由视觉语言模型驱动的框架,通过符号化约束资产生成与确定性场景放置,实现开放、可编辑、照片级真实的 3D 世界程序化生成,并在物体与场景生成任务上验证了其效果。

0 人收藏 0 人点赞
← Previous
Next →
← 返回首页

提交意见反馈