论文页面 - OmniFlatten：一种用于无缝语音对话的端到端 GPT 模型

来源：https://huggingface.co/papers/2410.17799 发布于 2024 年 10 月 23 日

摘要

一种基于 GPT 的新型模型 OmniFlatten，通过一种多阶段后训练技术整合语音和文本，无需更改原始模型架构，即可实现实时的、自然的、全双工口语对话。

全双工口语对话系统相比传统的基于轮次的对话系统有了显著进步，因为它们允许同时进行双向通信，更加贴近人与人之间的互动。然而，在全双工对话系统中实现低延迟和自然交互仍然是一个重大挑战，特别是考虑到人类对话的动态特性，如打断、反馈（backchannels）和重叠语音。在本文中，我们介绍了一种用于全双工对话的新型端到端 GPT 基础模型 OmniFlatten，它能够以低延迟有效模拟自然对话中固有的复杂行为。为了实现全双工通信能力，我们提出了一种多阶段后训练方案，逐步将一个基于文本的大型语言模型（LLM）骨干网络适配为语音-文本对话 LLM，能够在不修改骨干 LLM 架构的情况下实时生成文本和语音。训练过程包括三个阶段：模态对齐、半双工对话学习以及全双工对话学习。在所有训练阶段中，我们使用展平操作标准化数据，这使得我们能够统一不同模态和任务下的训练方法和模型架构。我们的方法提供了一种直观的建模技术，并为开发高效且自然的端到端全双工口语对话系统提供了有前景的研究方向。由 OmniFlatten 生成的对话音频样本可在此网站找到：https://omniflatten.github.io/。

查看 arXiv 页面 (https://arxiv.org/abs/2410.17799) 查看 PDF (https://arxiv.org/pdf/2410.17799) GitHub57.7kauto (https://github.com/karpathy/nanogpt) 添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2410.17799)

在你的 Agent 中获取这篇论文：

hf papers read 2410\.17799

还没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2410.17799 以从此页面建立链接。

引用此论文的数据集 0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2410.17799 以从此页面建立链接。

引用此论文的 Spaces 0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2410.17799 以从此页面建立链接。

包含此论文的收藏集 5

浏览包含此论文的 5 个收藏集 (https://huggingface.co/collections?paper=2410.17799)