论文页面 - Audio LLMs 在行动之前会先“听“吗？诊断语音智能体中的声学-上下文门控

来源：https://huggingface.co/papers/2609.32536

摘要

音频语言模型能够识别语音指令并调用工具，但智能体必须首先判断当前的声学与对话上下文是否支持采取行动。我们提出了 VGBench，这是一个包含 1,018 个条目的诊断性基准，用于评估跨旁白对话（side-talk）、自言自语（self-talk）和说话人切换（speaker-switch）场景下的动作级寻址（action-level addressedness）能力。每个条目使用共享的动作空间，包括静默、工具调用和自然语言回答三种动作。说话人切换的成对条目保持指定词语不变，而通过声源、距离渲染和时间边界的变化，构成一个受控的“佩戴者到旁观者“身份转移。六个原始 Audio LLM 和三种免训练适配方法都能识别目标工具，却极少在这一转移下拒绝采取行动；原始模型最高的切换静默率仅为 14%。随后我们以 VoxGate 作为后训练案例研究。监督训练使 91.3% 的切换指令被静默，同时为所有近处佩戴者指令及纯文本对照选择正确的工具。探索性的 GRPO 阶段在切换场景上表现相近：旁白对话准确率从 68.4% 提升至 70.9%，自言自语静默率从 52.0% 提升至 60.0%。因子化对照实验识别出独立的声源变化效应，而对远场（far-field）操纵的敏感度在不同声学渲染之间存在差异。因此，该基准测量的是多线索声学-上下文门控，而非孤立的说话人身份识别。

查看 arXiv 页面 查看 PDF 添加到收藏夹

在你的智能体中获取该论文：

hf papers read 2609.32536

没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型 0

暂无模型关联该论文

在模型 README.md 中引用 arxiv.org/abs/2609.32536 即可从本页面链接该模型。

引用该论文的数据集 0

暂无数据集关联该论文

在数据集 README.md 中引用 arxiv.org/abs/2609.32536 即可从本页面链接该数据集。

引用该论文的 Spaces 0

暂无 Space 关联该论文

在 Space README.md 中引用 arxiv.org/abs/2609.32536 即可从本页面链接该 Space。

包含该论文的收藏夹 0

暂无收藏夹包含该论文

将该论文添加到收藏夹即可从本页面链接它。