全双工语音模型中工具调用的前后端架构

arXiv cs.CL 论文

摘要

本文提出了一种前后端架构,用于在全双工语音模型中实现工具调用。语音前端将任务委托给基于文本的LLM后端进行工具调用,从而保持低延迟和自然交互。

arXiv:2609.19334v1 公告类型:新 摘要:全双工语音到语音(S2S)模型提供自然、低延迟的对话交互,若能利用外部工具并完成语音代理任务将大有裨益。我们提出一种前后端架构,其中双工语音到文本前端学会发出委托令牌,并将流式ASR转录转发给基于文本的后端LLM进行工具调用。后端的工具调用结果通过轻量级的预填充和重复机制注入回前端,然后使用流式TTS合成为语音给用户。我们的方法在很大程度上保留了常规的双工轮流、中断处理和低延迟交互,因为对前端模型的修改极小。在单轮工具调用评估中,我们的系统实现了92-97%的工具调用召回率,具有竞争力的工具调用预测性能,以及81.2%的相关调用拒绝准确率。当配备更大的后端(例如Qwen3-235B-A22B)时,我们的系统在Full-Duplex-Bench-V3上与开源和闭源模型相比取得了有竞争力的结果,并在EVA-Bench上显著优于GPT-realtime-mini和Qwen3-Omni-30B-A3B-Instruct。这些结果表明,后端委托是一种有效的模块化方法,能够将自然的双工语音交互与强大的代理工具调用能力相结合。
查看原文
查看缓存全文

缓存时间: 2026/09/18 08:54

# 一种适用于全双工语音模型的工具调用前后端架构  
来源: https://arxiv.org/html/2609.19334  

Slyne Deng, Chen Chen, Elena Rastorgueva, Edresson Casanova, Punit Kumar, Dharmendra Choudhary, Nikhil Srihari, Ameya Sunil Mahabaleshwarkar, Viet Anh Trinh, Slim Essid, Oluwatobi Olabiyi, Zhehuai Chen  

###### 摘要  
全双工语音到语音(S2S)模型能够提供自然、低延迟的对话交互,而引入使用外部工具及完成语音代理任务的能力将使其更加完善。我们提出了一种前后端架构:其中双工语音转文本前端学习发出委托令牌,并将流式ASR转录文本转发给基于文本的后端大语言模型以执行工具调用。后端工具调用的结果通过一种轻量的“预填充并重复”机制注入回前端,然后使用流式TTS合成语音反馈给用户。我们的方法在很大程度上保留了常规的双工轮流发言、中断处理和低延迟交互特性,因为它对前端模型的改动最小。在单轮工具调用评估中,我们的系统实现了92-97%的工具调用召回率、具有竞争力的工具调用预测性能以及81.2%的无关调用拒绝准确率。当配备更大的后端(例如,Qwen3-235B-A22B)时,我们的系统在Full-Duplex-Bench-V3上取得了与开源和闭源模型相媲美的结果,并在EVA-Bench上显著优于GPT-realtime-mini和Qwen3-Omni-30B-A3B-Instruct。这些结果表明,后端委托是一种有效且模块化的方法,能够将自然的双工语音交互与强大的代理工具调用能力相结合。  
††地址:NVIDIA,美国  

## 1 引言  
全双工语音到语音(S2S)模型是对话式人工智能自然且理想的接口\[39\], \[13\], \[60\], \[6\], \[30\], \[14\], \[59\], \[35\], \[36\]。通过直接在语音模态上运行,这些模型消除了级联延迟,保留了副语言线索,并产生了自然的轮流发言和插话行为\[23\], \[24\], \[21\], \[16\]。虽然双工语音模型在基于内部智能的自然对话方面表现出色,但基于文本的大语言模型现已成为可靠的工具使用代理:经过指令微调的模型决定何时以及如何调用外部工具、查询知识库并对世界产生影响\[54\], \[44\], \[61\], \[62\], \[41\], \[12\]。尽管在语音大语言模型中启用语音工具调用的努力日益增加\[42\], \[18\], \[50\], \[39\], \[11\],但语音代理中的工具调用能力仍然远远落后于基于文本的代理。如τ-Voice \[52\]所示,领先的商业双工语音模型在干净条件下仅完成31-51%的有根基客户服务任务,而GPT-5等文本代理在相应的文本模式任务上达到了85%;在真实噪声和口音语音条件下,差距进一步扩大。这种差异表明,自然的口语交互和强大的工具调用智能在当前系统中仍然是各自独立的优势。因此,一个自然的问题是:双工语音模型是否应该直接内化工具调用能力,还是应该将这些能力委托给已经具备成熟的指令遵循、工具调用和长期推理能力的后端文本代理?最近的工作通过将工具调用置于单独的通道中,直接在Moshi风格\[6\]的双工语音模型中研究工具调用能力\[63\]。然而,音频原生建模施加了基本的容量权衡:音频令牌消耗的参数和上下文预算,正是纯文本大语言模型可以用于事实知识、指令遵循和工具调用能力的地方\[19\]。相比之下,委托式的后端代理更加模块化,并且从前端语音模型消耗的建模容量很少。沿着这个方向,保持S2S前端用于交互,同时将工具调用和推理委托给文本后端的混合方法出现在几种同步设计中:KAME \[19\]将后端“预言”令牌注入Moshi风格\[6\]的S2S前端以进行知识集成;MoshiRAG \[5\]通过检索增强了Moshi;Thinking Machines \[58\]提出了一个交互-背景框架,用于处理需要更深入推理、工具调用或长期工作的用户查询。最近,Qwen-audio-agent \[46\]和GPT-Live \[40\]也采用了类似的框架。然而,目前尚不清楚\[58\], \[46\], \[40\]中的委托信号是如何设计的,以及背景模型如何与双工前端交互。  
在这项工作中,我们为全双工语音模型提出了一种前后端架构来执行工具调用和代理任务。我们的S2S模型由一个双工语音转文本(STT)组件(基于\[14\], \[2\])和一个流式TTS \[3\]组成。双工STT模型以用户语音编码、代理文本和流式用户ASR转录文本作为输入\[2\]。我们使用双工STT模型作为前端:它为涉及工具调用的语音查询预测一个委托令牌,然后将流式ASR转录文本发送给后端大语言模型,后者在LangGraph框架\[20\]中处理工具调用。后端的自然语言结果随后通过一种“预填充”机制发送回前端的代理文本通道,然后前端被训练来重复该结果。在工具调用期间前端保持静默,并在工具调用完成后恢复其正常的双工行为。我们的设计通过向其预测目标添加工具调用控制令牌,对前端双工STT模型的更改最小。在基于BFCL语音版本\[56\]的单轮工具调用评估中,我们的实验表明,前后端架构以92%到97%的召回率可靠地预测工具调用令牌,并最高以81.2%的准确率拒绝无关调用。在Full-Duplex-Bench-V3 \[22\]中更具自然性的用户查询(包含停顿、犹豫和自我纠正)上,我们基于Qwen3-235B-A22B后端的模型达到了与GPT-realtime-mini相似的响应质量。在更具挑战性的EVA-Bench语音代理任务评估\[1\](涉及多轮对话和工具调用)上,我们的模型显著优于GPT-realtime-mini和Qwen3-Omni-30B-A3B-Instruct \[49\],并且表现与Gemini 3.1 Flash Lite \[9\]相似。我们前后端系统的演示可在线查看。1  
1 https://huggingface.co/spaces/frontend-backend-duplex/demo  

## 2 相关工作  
级联式前后端系统,例如NVIDIA的Nemotron Voice Agent \[31\]和LiveKit的EXA Deep Researcher \[26\],将ASR、大语言模型和TTS组合成前端,并使用单独的后端进行规划和工具执行。最近的系统越来越多地探索将工具使用和后端代理集成到实时语音交互中。商业系统\[40\], \[39\], \[17\]在端到端语音API中暴露工具调用,但其架构未公开。最近的工作侧重于将低延迟全双工语音前端与更强大的文本后端配对。KAME \[19\]运行一个Moshi风格的前端,并根据后端大语言模型流式传输的“预言”令牌(每100-500毫秒更新一次)来调节其输出;前端被明确训练以将这些预言令牌作为其语音的锚点。MoshiRAG \[5\]通过检索增强了Moshi,将检索到的上下文注入内心独白流。Thinking Machines采用了一种交互-风格的系统,将深度推理、工具调用或更长期的工作委托给背景模型\[58\]。最近,Qwen-audio-agent \[46\]被提出作为一种带有后端代理的实时语音模型,能够在前端与用户对话时执行各种任务。然而,在\[58\], \[46\]中,委托信号是如何设计的,或者后端结果是如何集成到前端双工模型中的,尚不清楚。与上述方法相比,我们提出了一种直接的方法:在代理文本通道中预测一个委托令牌,将工具调用分配给后端。后端执行多轮工具调用,然后将响应文本预填充到前端,作为进一步生成的上下文。所提出的前后端框架是模块化的,不需要对前端进行重大的架构更改。  

## 3 架构  
### 3.1 语音转文本前端  
图1:所提出的具有工具调用能力的双工语音到语音模型的前后端系统。  
如图1所示,我们的前端模型是一个双工语音到文本(STT)模型,由流式语音编码器和大语言模型主干(类似于\[15\])组成。双工STT模型接受三个输入流:用户语音、用户转录文本和代理文本。用户语音由一个6亿参数的Parakeet流式语音编码器\[28\]编码,并馈送到大语言模型主干(NVIDIA Nemotron-Nano-9B-v2-Base \[33\])。流式ASR头由一个单独的嵌入层和预测头组成,并与代理文本头共享相同的大语言模型主干。单次解码过程联合生成用户和代理文本。为了将工具调用委托给后端,我们训练前端模型,如果用户语音自然需要工具调用(例如,“纽约的天气怎么样?”),则在代理文本通道中触发一个工具调用令牌。然后我们训练模型先生成一个简短的填充词,然后是特殊令牌。实际的工具调用将由后端执行,我们只是将训练数据中的工具调用响应预填充到代理文本通道中,并训练前端精确地复制它。工具调用令牌、填充词和复制区域以与常规代理文本相同的方式用于损失计算,而预填充区域被屏蔽并排除在损失计算之外。在推理时,当触发时,我们将流式ASR转录文本发送给后端执行工具调用。后端返回实际的自然语言文本给前端进行预填充(详见第3.2节)。我们的前端连接到VoiceChat-TTS \[3\]以生成代理语音,该模型接受明确的轮流开始和中断控制令牌,并增量生成基于编码的语音令牌。  

### 3.2 后端代理  
我们使用LangGraph \[20\](一种工具增强的ReAct代理\[61\])作为我们的后端。我们的图是一个基于运行消息列表的状态机,包含一个使用遵循指令的大语言模型的代理节点和一个执行模型工具调用的工具节点。这两个节点通过一个条件边连接,每当模型发出工具调用时路由到工具执行,并在当前轮次不包含工具调用时终止该轮。当用户查询需要工具调用时,例如,“纽约的天气怎么样?”,用户ASR转录文本作为消息发送到图中,并调用代理以调用工具进行响应。多轮上下文由一个基于线程键的检查点自动维护,该检查点跨轮次持久化和恢复累积的对话状态,因此每轮仅将当前用户ASR转录文本作为输入。如果后端生成语法无效的工具调用请求或常规文本响应,我们会将文本直接作为预填充返回给前端。这意味着前端可能错误地触发了工具调用请求,而更大的后端则可以可靠地回退到自然语言解释以处理无关查询。  

## 4 训练与推理  
对于前端双工STT模型,我们的训练包括一个预训练阶段,随后是监督微调(SFT)\[15\]。为了在前端启用工具调用令牌预测,我们生成了包含工具调用的多轮对话数据用于SFT。首先,我们使用各种大语言模型(例如,Nemotron 3 Nano \[29\]、Gemma-4-31B-IT \[10\]和Qwen3.5-397B-A17B \[51\])生成文本形式的用户、代理、工具调用和工具响应轮次,并使用大语言模型裁判过滤具有不一致轮次或不正确工具调用的对话。这些文本对话随后通过涉及过滤(例如,移除不适合语音的、包含大量数学或代码的对话)、TTS(VoiceChat-TTS \[3\],使用多种语音)、ASR(基于WER/CER的Parakeet-tdt-0.6b-v2 \[34\])质量过滤的数据管道合成为音频对话。多轮工具调用数据包含针对语音代理决策的变体,例如何时调用工具、何时询问后续问题,以及何时不调用不可用或不合适的工具,类似于When2Call \[32\],但包含多轮语音用户输入。我们的管道还模拟了带有反馈通道、停顿和中断的现实多轮交互。

相似文章

释放全双工语音模型中LLM的能力

Hugging Face Daily Papers

提出Listen-Write-Speak (LWS),一种文本优先的三通道范式,允许单个自回归LLM持续监听、书写可见文本并实时说话,实现无需架构修改的全双工语音交互。

基于SpeechLLM的流式语音转文本翻译

arXiv cs.CL

提出了一种用于流式语音转文本翻译的SpeechLLM架构,该架构根据音频自适应决定何时输出令牌,实现了1-2秒的延迟,且质量接近非流式基线。