vision-language-models

标签

Cards List
#vision-language-models

@arXivBangers:TinyAstral:将自进化框架迁移至微型通用操作智能体 TinyAstral 演化教师的……

X AI KOLs Timeline ↗ · 2026-11-02 缓存

TinyAstral 通过带有统计验收测试的递归自我改进,演进冻结教师模型的智能体框架,再将改进成果蒸馏到一个 40 亿参数的学生模型中,仅用约五分之一的加速器时间,就在 RoboTwin 上取得了与教师模型相当的成功率(62.8% 对 63.6%)。

0 人收藏 0 人点赞
#vision-language-models

通过转变感知的奖励引导表征采样实现大语言模型去毒化

arXiv cs.AI ↗ · 2026-11-02 缓存

该论文提出了 TARGRS,一种测试时去毒框架,通过沿大语言模型潜在空间中的毒性轨迹,学习词元级、具备转移感知能力的奖励引导,在 RealToxicityPrompts 上实现了高达 69.38% 的毒性降低,并以极低的推理开销扩展至视觉语言模型。

0 人收藏 0 人点赞
#vision-language-models

DR Pixel:基于视觉语言模型的页面原生深度研究

Hugging Face Daily Papers ↗ · 2026-11-02 缓存

DR Pixel 是一个开源的端到端多模态深度研究智能体,直接基于渲染后的文档页面图像进行检索和推理,而非使用 OCR 提取的文本,并引入反事实贡献重加权方法,用于智能体监督微调。该方法在 GPT-5.4 和 Gemini-3.5-Flash 等模型上,在 DRPixelBench 中的表现优于基于 OCR 的基线,训练后将检索召回率提升约 15 个百分点,准确率提升超过 10 个百分点。

0 人收藏 0 人点赞
#vision-language-models

@HuggingPapers:本周热门研究论文:从世界模型到流式视频智能体,从通过回放来学习的机器人策略……

X AI KOLs Following ↗ · 2026-11-01 缓存

Hugging Face 每周热门研究论文汇总,涵盖世界模型、流式视频智能体、机器人策略和高效扩散式视觉语言模型,重点介绍 Rollback、Hy-Nomas、OmniShowcase、PDRVLA 和 StreamVibe 等研究成果。

0 人收藏 0 人点赞
#vision-language-models

microsoft/Mage-VL-Cowork · Hugging Face

Reddit r/LocalLLaMA ↗ · 2026-10-31 缓存

Microsoft 发布了 Mage-VL-Cowork,一个紧凑的 4B 视觉-语言模型,在单一策略中同时支持 GUI 交互与终端/代码执行,在 OSWorld-Verified 基准上取得 66.0% 的成绩——这是 4B 规模下的最佳结果——通过五阶段课程学习和在线强化学习实现。

0 人收藏 0 人点赞
#vision-language-models

视觉语言模型在3D推理上在哪里失败?

Hugging Face Daily Papers ↗ · 2026-10-29 缓存

该论文提出了BedBench,一个包含十三个程序化生成的3D推理任务的受控基准,结果显示视觉语言模型能够做出正确的单个判断,却无法恢复并一致地应用精确的逐色计数(准确率为7.2%,而人类为93.3%),并主张应从精确正确性、一致性以及对视觉的依赖性等多个维度进行评估,而非仅看准确率。

0 人收藏 0 人点赞
#vision-language-models

CaPtain:面向 Code-as-Policy 机器人智能体的后训练流水线

Hugging Face Daily Papers ↗ · 2026-10-29 缓存

CaPtain 是一个开源后训练流水线,通过 SFT 和基于物理评论家的多轮强化学习,将小型开源视觉语言模型转化为能力强大的 Code-as-Policy 机器人智能体,在 LIBERO 和 SimplerEnv 上取得优异成绩,无需前沿模型或 VLA 骨干网络。

0 人收藏 0 人点赞
#vision-language-models

使用规划与 grounding 智能体在实时 iOS 应用上进行 UI 导航的在线密集强化学习

Hugging Face Daily Papers ↗ · 2026-10-29 缓存

该论文提出了一种在线强化学习框架,在真实运行的 iOS 应用上训练 UI 导航智能体,将其解耦为规划智能体和 UI 定位模型,并采用一种新颖的邻居条件化价值估计方法(GiGPPO),以提高价值评估器的稳定性并降低推理成本。他们的 80 亿参数强化学习智能体在真实 iOS 应用上的表现优于监督微调(SFT)基线,与 Gemini-3.1-Pro 相当,同时展现出向 Android 平台泛化的强大能力。

0 人收藏 0 人点赞
#vision-language-models

Andon Labs:“AI 在物理 3D 理解基准上已与人类持平”

Reddit r/singularity ↗ · 2026-10-28

Andon Labs 发布 Blueprint-Bench 2,评估 AI 在物理 3D 理解上的表现,结果显示 AI 已在该基准上追平人类水平。

0 人收藏 0 人点赞
#vision-language-models

DocSkill:面向多语言多跳文档问答的技能集成式智能体推理

arXiv cs.CL ↗ · 2026-10-28 缓存

DocSkill提出一种带技能编排策略的智能体框架,用于多语言多跳文档问答,通过MCTS离线探索轨迹并结合SFT/DPO训练策略,同时发布包含60K QA对、覆盖10种语言的MMHop-DocBench数据集。

0 人收藏 0 人点赞
#vision-language-models

一颗心意味着递归:探索视觉语言模型中的视觉意义与交流

arXiv cs.AI ↗ · 2026-10-28 缓存

一篇研究论文探讨了视觉语言模型(VLM)如何使用和解读视觉符号,发现像红心这样的简单视觉图案可以隐式引导模型行为(例如,使其倾向于采用递归编程方案),而且模型能够发展出不同于人类惯例的创造性视觉交流策略。

0 人收藏 0 人点赞
#vision-language-models

通过查询与视觉交互分解进行视觉词元剪枝

arXiv cs.LG ↗ · 2026-10-28 缓存

论文提出 QViD,一种免训练的查询感知视觉 token 剪枝方法,通过发现查询-视觉交互矩阵的低秩结构并分解出主导潜在交互模式,在图像与视频理解基准上以相同 token 预算持续提升性能,尤其在高压缩率下增益显著。

0 人收藏 0 人点赞
#vision-language-models

主动式视频智能体(阅读需 22 分钟)

TLDR AI ↗ · 2026-10-28 缓存

Google 等机构提出 StreamVibe 框架,包含 StreamVibe-Bench 基准、StreamVibe-VL 流式主动模型与 StreamVibe-Harness 分层记忆机制,使视觉语言模型能从连续视频观测中推断隐式且动态变化的用户意图,并在响应时机与主动交互上分别提升 10.7% 和 12.3%。

0 人收藏 0 人点赞
#vision-language-models

@_akhaliq:StreamVibe:面向不断演变的用户意图的主动式视频智能体 论文:https://huggingface.co/papers/2610.34662…

X AI KOLs Timeline ↗ · 2026-10-27 缓存

StreamVibe 推出了一项基准测试(StreamVibe-Bench)、一个流式主动视觉语言模型(StreamVibe-VL)和一个分层记忆框架,以实现能够感知意图的交互,理解用户隐含且不断变化的目标。与基线相比,响应质量提升了 10.7%,主动交互能力提升了 12.3%。

0 人收藏 0 人点赞
#vision-language-models

事实俱全,答案仍错:视觉语言模型中的整合鸿沟

arXiv cs.AI ↗ · 2026-10-27 缓存

该论文提出“多证据整合差距”概念,发现视觉语言模型(如Gemma-3-27B)能正确恢复所有局部事实,但在需要联合约束满足的任务上全局有效率极低(仅19.75%),并通过隐藏态探针和激活替换实验揭示了跨层深度的可干预性。

0 人收藏 0 人点赞
#vision-language-models

面向历史文献转录的 OCR 系统实体感知评估

arXiv cs.CL ↗ · 2026-10-27 缓存

该论文提出实体级分析作为补充视角来评估历史文档OCR质量,使用Berrutti档案馆175份文档及5,209条人工标注实体,比较了序列识别OCR系统、OCR专用视觉-语言模型和通用视觉-语言模型,发现不同评价标准下OCR排名会变化。

0 人收藏 0 人点赞
#vision-language-models

IRON-Meme:用于结构化理解网络迷因叙事中身份与角色的基准

arXiv cs.AI ↗ · 2026-10-27 缓存

IRON-Meme 是一个经人工标注的基准数据集,包含 1,110 个政治迷因,并采用以社会科学为基础的框架,对社会身份、观点和叙事角色进行分类;对九个视觉语言模型的评估表明,前沿模型和推理模型表现最佳,而迷因模板的背景知识并不能改善角色分类效果。

0 人收藏 0 人点赞
#vision-language-models

用于室内无线电地图估计的协同上下文学习

arXiv cs.LG ↗ · 2026-10-27 缓存

本文将室内无线电地图估计表述为协同上下文学习问题,并提出了 Poly-Ripple 框架。在该框架中,多个客户端无需更新模型,即可使用大型自回归视觉模型,通过波纹顺序自回归建模和重要性感知聚合,实现优于上下文学习(ICL)基线的性能。

0 人收藏 0 人点赞
#vision-language-models

Zooming without Zooming v2:从观察细节到关联证据的可泛化多模态感知

Hugging Face Daily Papers ↗ · 2026-10-27 缓存

本文提出了EvidenceConnect数据合成框架,通过RLVR训练视觉语言模型更好地关联视觉证据,由此得到ZwZ2模型,在空间感知、长上下文理解以及多种下游任务中的通用视觉推理能力均有提升。

0 人收藏 0 人点赞
#vision-language-models

从视觉亲和性到多模态强化学习中的学习贡献归因

arXiv cs.AI ↗ · 2026-10-26

本文提出 Outcome-Conditioned Visual Credit (OVC) 框架,通过分离视觉关联测量与 token 级信用分配,改进多模态强化学习中的奖励分配,在三个模型的六项基准上较 GSPO 提升 1.86-2.39 个百分点。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈