论文页面 - OpenVLHarness：面向真实世界视觉智能体工具调用的多模态记忆框架

来源：https://huggingface.co/papers/2610.26860

摘要

OpenVLHarness 通过整合持久记忆、异构工具接口和迭代式证据组合，在 22 个基准测试上提升了多模态推理能力。

多模态大语言模型（Multimodal large language models）（https://huggingface.co/papers?q=Multimodal%20large%20language%20models）在视觉推理（https://huggingface.co/papers?q=visual%20reasoning）方面取得了快速进展，然而许多任务所需的信息仅靠内部推理难以获取：我们在 22 个基准测试上进行的对照研究表明，单纯增加基础模型的推理预算只能带来有限的提升。这类任务需要具身感知、外部知识以及通过异构工具获取的数值测量结果，而这些工具的输出必须转化为模型可理解的形式，并在推理步骤之间得到保留。我们提出 OpenVLHarness，这是一个围绕能力层（capability layer）和持久多模态记忆（persistent multimodal memory）（https://huggingface.co/papers?q=persistent%20multimodal%20memory）构建的多模态推理框架。能力层将任务级的工具接口（https://huggingface.co/papers?q=tool%20interfaces）与证据渲染（https://huggingface.co/papers?q=evidence%20rendering）相结合，为异构后端提供统一的访问方式，并将其输出转换为模型可读的观察结果。持久多模态记忆（https://huggingface.co/papers?q=Persistent%20multimodal%20memory）在每次查询过程中将相应的图像、结构化数据和网页引用保留为可寻址的工件。编码接口（https://huggingface.co/papers?q=coding%20interface）在存储的数据上执行生成的程序，从而实现跨多个工具的组合计算。这些机制共同支撑了获取、检查和组合多模态证据（https://huggingface.co/papers?q=multimodal%20evidence）的迭代流程。在 22 个基准测试上使用八个开源和专有基座模型进行评估，OpenVLHarness 相比同等条件下的无工具基线平均提升 9.7–12.6 分，其中 Qwen3-VL-8B 提升 +11.2，Kimi K3 提升 +9.7，GPT-6 Astra 提升 +9.9。使用 GPT-6 Luna 在中等推理强度下，OpenVLHarness 比基础模型、Codex 和 Visual Sketchpad 在最大推理强度下的表现高出 7.7–8.5 分，同时模型 token 成本最多仅为后者的 37%。

查看 arXiv 页面（https://arxiv.org/abs/2610.26860） 查看 PDF（https://arxiv.org/pdf/2610.26860） 项目主页（https://openvlharness.github.io/） GitHub18（https://github.com/uclanlp/OpenVLHarness） 添加到收藏夹（https://huggingface.co/login?next=%2Fpapers%2F2610.26860）

在你的智能体中获取此论文：

hf papers read 2610.26860

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

暂无模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2610.26860 即可从此页面链接。

引用此论文的数据集 0

暂无数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.26860 即可从此页面链接。

引用此论文的 Spaces 0

暂无 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2610.26860 即可从此页面链接。

包含此论文的收藏夹 0

暂无收藏夹包含此论文

将此论文添加到收藏夹（https://huggingface.co/new-collection）即可从此页面链接。