论文页面 - 我刚才说了什么？面向全双工语音模型的自倾听机制

来源：https://huggingface.co/papers/2609.05592 发布于 9月4日

·

提交者：https://huggingface.co/Benyou

王 (https://huggingface.co/Benyou) 于9月9日提交

摘要

自倾听机制通过将实际生成的语音反馈作为输入，为全双工口语模型的中断恢复提供依据，从而提升与实际已播报回答的一致性。

全双工口语模型（https://huggingface.co/papers?q=Full-duplex%20spoken%20language%20models）能够同时听取和发言，使其能够处理人类对话中的打断和反馈。然而，文本生成、语音合成和音频播放是异步进行的。因此，模型认为自己所说的内容可能与实际播放给用户的内容不符。我们将这种在中断恢复时需感知模型已实现语音（https://huggingface.co/papers?q=realized%20speech）的问题称为锚定中断（https://huggingface.co/papers?q=anchor%20interruption）。为解决此问题，我们提出自倾听（https://huggingface.co/papers?q=Self-Listening）机制，这是一种交错处理用户语音、模型文本和模型已播放语音的全双工建模方法。通过将已实现语音（https://huggingface.co/papers?q=realized%20speech）输出反馈给模型作为输入流，自倾听（https://huggingface.co/papers?q=self-listening）机制使中断恢复基于用户实际听到的内容。我们进一步引入AnchorSpeech（https://huggingface.co/papers?q=AnchorSpeech）数据集，该数据集包含同质化的训练集和测试集划分，用于追踪结构化有序回答中哪些项目已被实际播报。AnchorSpeech（https://huggingface.co/papers?q=AnchorSpeech）-测试集评估模型能否在中断前根据最后一个已完成项目给出连贯回答。实验表明，与全双工基线模型相比，采用自倾听（https://huggingface.co/papers?q=self-listening）机制的模型取得了更好的锚定性能。

查看 arXiv 页面 (https://arxiv.org/abs/2609.05592)查看 PDF (https://arxiv.org/pdf/2609.05592)GitHub1 (https://github.com/FreedomIntelligence/LoopSpeech)添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2609.05592)

通过智能体获取本论文：

hf papers read 2609.05592

未安装最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型0

无模型链接本文

在模型 README.md 中引用 arxiv.org/abs/2609.05592 即可从本页面链接。

引用本文的数据集0

无数据集链接本文

在数据集 README.md 中引用 arxiv.org/abs/2609.05592 即可从本页面链接。

引用本文的 Spaces0

无 Space 链接本文

在 Space README.md 中引用 arxiv.org/abs/2609.05592 即可从本页面链接。

包含本文的收藏集0

无收藏集包含本文

将本论文添加到收藏集 (https://huggingface.co/new-collection) 即可从本页面链接。