论文页面 - ProMSA: 面向基于知识的视觉问答的渐进式多模态搜索智能体

来源: https://huggingface.co/papers/2606.27974 作者:

,

,

,

,

,

,

,

,

,

摘要

一种用于基于知识的视觉问答的渐进式多模态搜索智能体，能够自适应地选择搜索策略并通过序列级强化学习进行优化。

基于知识的视觉问答（Knowledge-based Visual Question Answering，KB-VQA）要求模型将图像理解与外部知识相结合。以往大部分方法采用固定的“检索-生成”流水线（retrieve-then-generate pipeline），使用预选的检索器和静态的 top-k 设置，在推理过程中不具有自适应性。我们提出 ProMSA，一种用于 KB-VQA 的渐进式多模态搜索智能体（progressive multimodal search agent）。给定图像-问题对，智能体在显式工具调用预算（tool-call budgets）下，通过去重（deduplication）避免冗余检索，迭代地选择图像搜索、文本搜索或停止。在训练方面，我们首先使用拒绝采样 SFT（rejection-sampling SFT）来学习有效的工具使用格式，然后使用 TN-GSPO（一种序列级 RL 目标函数，sequence-level RL objective）优化智能体，该目标函数通过生成长度（generation length）和工具交互深度（tool-interaction depth）对更新进行归一化。在 E-VQA 和 InfoSeek 上的实验显示，该方法相比强 RAG 和智能体基线取得了一致性提升，并在检索和端到端准确率上有所改进。代码开源在 https://github.com/DingWu1021/Promsa。

查看 arXiv 页面 (https://arxiv.org/abs/2606.27974) 查看 PDF (https://arxiv.org/pdf/2606.27974) 项目页面 (https://dingwu1021.github.io/ProMSA/) GitHub3 (https://github.com/DingWu1021/Promsa) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.27974)

在您的智能体中获取此论文：

hf papers read 2606\.27974

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2606.27974 以从此页面链接。

引用此论文的数据集0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2606.27974 以从此页面链接。

引用此论文的 Space0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2606.27974 以从此页面链接。

包含此论文的收藏0

没有收藏包含此论文

将此论文添加到收藏 (https://huggingface.co/new-collection) 以从此页面链接。