论文页面 - InterLV-Search：交错式多模态智能体搜索基准测试

来源：https://huggingface.co/papers/2605.07510

摘要

InterLV-Search 基准测试通过评估交错式语言-视觉智能体搜索，揭示了当前系统在视觉证据寻求和多模态证据整合方面的局限性。该基准通过反复利用文本和视觉证据来指导后续搜索。

现有的多模态智能体搜索基准测试（https://huggingface.co/papers?q=multimodal%20agentic%20search）虽然评估了多模态搜索和视觉浏览能力，但视觉证据要么仅限于输入阶段，要么仅被视为答案的终点，而非交错式搜索轨迹（https://huggingface.co/papers?q=interleaved%20search%20trajectory）的一部分。我们引入了 InterLV-Search，这是一个用于交错式语言-视觉智能体搜索的基准测试，其中文本和视觉证据被反复用于指导后续搜索。它包含 2,061 个样本，分为三个级别：主动视觉证据寻求（https://huggingface.co/papers?q=visual%20evidence%20seeking）、受控离线交错式多模态搜索以及开放网页交错式多模态搜索。除了现有基准外，它还包括多模态多分支样本（https://huggingface.co/papers?q=multimodal%20multi-branch%20samples），这些样本涉及在证据搜索过程中对多个实体进行比较。我们使用自动化流水线（https://huggingface.co/papers?q=automated%20pipelines）构建了第一级和第二级，并使用机器主导、人类监督的开放网页流水线构建了第三级。此外，我们还提供了 InterLV-Agent，以实现标准化的工具使用、轨迹记录和评估。在专有和开源多模态智能体（https://huggingface.co/papers?q=multimodal%20agents）上的实验表明，当前系统距离解决交错式多模态搜索问题仍有很大差距，表现最好的模型总体准确率低于 50%，这突显了在视觉证据寻求（https://huggingface.co/papers?q=visual%20evidence%20seeking）、搜索控制（https://huggingface.co/papers?q=search%20control）和多模态证据整合方面面临的挑战。我们在 https://github.com/hbhalpha/InterLV-Search-Bench 发布了基准测试数据和评估代码。

查看 arXiv 页面（https://arxiv.org/abs/2605.07510）查看 PDF（https://arxiv.org/pdf/2605.07510）GitHub（https://github.com/hbhalpha/InterLV-Search-Bench）添加到收藏集（https://huggingface.co/login?next=%2Fpapers%2F2605.07510）

在你的智能体中获取此论文：

hf papers read 2605\.07510

还没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2605.07510 以从此页面建立链接。

引用此论文的数据集0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2605.07510 以从此页面建立链接。

引用此论文的 Spaces0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2605.07510 以从此页面建立链接。

包含此论文的收藏集0

没有收藏集包含此论文

将此论文添加到收藏集（https://huggingface.co/new-collection）以从此页面建立链接。