论文页面 - OmniSeek：面向多轮视听推理的原生工具集成

来源：https://huggingface.co/papers/2610.02181

摘要

我们提出 OmniSeek，一个智能体框架，可将 Omni Large Language Model（Omni-LLM）转变为一个具备原生工具调用能力的主动式多轮推理智能体。OmniSeek 并非在单次前向传播中被动处理整个视听序列，而是将证据获取纳入推理过程的一部分：它能动态决定何时需要「看」或「听」，以及关注哪个时间窗口，从而在长上下文的不同模态中检索稀疏但关键的证据。通过迭代式多轮协议，检索到的原始音频或视频片段会被追加回上下文中，以支持后续推理。为了冷启动这一能力，我们构建了一个数据引擎，合成了 OmniTraj-170K——一个包含多跳思维链（Chain-of-Thought）轨迹的语料库，其中交织着音频与视觉证据。我们首先在这些轨迹上对模型进行监督，以注入多轮工具调用行为，然后通过带有可验证奖励的两阶段强化学习进一步优化策略。此外，我们还引入了 Audio-Visual Necessity 目标，显式奖励那些推理同时依赖音频和视觉两种模态的成功轨迹，从而抑制单模态捷径。在大量基准测试上的广泛实验表明，OmniSeek 学会了自适应的跨模态证据检索能力，并持续提升了视听推理性能。

查看 arXiv 页面 (https://arxiv.org/abs/2610.02181) · 查看 PDF (https://arxiv.org/pdf/2610.02181) · 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.02181)

在你的智能体中获取此论文：

hf papers read 2610.02181

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

没有模型链接到此论文

在模型 README.md 中引用 arxiv.org/abs/2610.02181 即可将其链接到此页面。

引用此论文的数据集 0

没有数据集链接到此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.02181 即可将其链接到此页面。

引用此论文的 Spaces 0

没有 Space 链接到此论文

在 Space README.md 中引用 arxiv.org/abs/2610.02181 即可将其链接到此页面。

包含此论文的合集 0

没有合集包含此论文

将此论文添加到合集 (https://huggingface.co/new-collection) 以将其链接到此页面。