Duplex-MPE: 全双工对话中的多方交互基准测试

Hugging Face Daily Papers 论文

摘要

本文介绍了Duplex-MPE,一个用于评估AI助手在多方全双工对话中的基准,包含2000个场景,评估模型在响应启动、准确性和静默保持方面的表现。

实时全双工语音模型可以在说话时听,实现无需严格轮换边界的自然交互。现有基准测试评估轮换、中断处理和多轮对话,但主要集中在指定用户上,而非助手参与多人共享对话。我们引入Duplex-MPE来评估此类助手何时应回答、保持沉默或停止说话。该基准包含2000个场景,每个场景有三或四个人类说话者和一个助手,每个请求在显式和隐式寻址中配对。模型接收连续的对话音频,没有转录文本或提供的轮换边界。四个分数衡量新响应启动、回答准确性、静默保持以及当人类解决请求时停止的能力。我们评估了五个开源语音系统:MiniCPM-o 4.5、Moshi、FLM-Audio、Voila和Freeze-Omni。MiniCPM-o 4.5在三个评分能力上领先,而其他系统的频繁发言可能与不准确回答或未能保持沉默共存。一个基于转录的Gemini 3.1 Pro参考系统对显式请求的响应率比隐式请求高64.3个百分点;配对测试检测到语音系统在响应率上无显著差异。
查看原文
查看缓存全文

缓存时间: 2026/09/29 08:16

论文页面 - Duplex-MPE:全双工对话中的多方交互基准测试

来源:https://huggingface.co/papers/2609.31948

摘要

实时全双工语音模型能够在说话的同时倾听,从而实现无需严格轮次划分的自然交互。现有基准测试评估了轮次切换、打断处理和多轮对话,但主要聚焦于指定用户,而非参与多人共享对话的助手。我们推出了 Duplex-MPE,以评估此类助手应在何时作答、保持沉默或停止发言。该基准测试包含 2000 个场景,每个场景涉及三到四名人类发言者和一名助手,其中对相同请求的显式与隐式寻址成对出现。模型接收连续的对话音频,无转录文本或预设的轮次边界。通过四项分数衡量新回应的发起能力、回答准确性、静音保持能力以及当人类解决请求时的停止表现。我们评估了五个开源权重语音系统:MiniCPM-o4.5、Moshi、FLM-Audio、Voila 和 Freeze-Omni。MiniCPM-o4.5 在三项评分能力上领先,而其他系统频繁的语音输出可能与准确的回答共存,或未能保持沉默。基于转录文本的 Gemini 3.1 Pro 参考模型对显式请求的响应率比隐式请求高 64.3 个百分点;配对测试未检测到语音系统在响应率上存在显著差异。

查看 arXiv 页面 (https://arxiv.org/abs/2609.31948) 查看 PDF (https://arxiv.org/pdf/2609.31948) 项目页面 (https://step-out.github.io/Duplex-MPE-Page/) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.31948)

通过代理获取此论文:

hf papers read 2609.31948

没有最新 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

无模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2609.31948 以从此页面链接。

引用此论文的数据集 0

无数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2609.31948 以从此页面链接。

引用此论文的 Spaces 0

无 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2609.31948 以从此页面链接。

包含此论文的收藏 0

无收藏包含此论文

将此论文添加到收藏 (https://huggingface.co/new-collection) 以从此页面链接。

相似文章

Omni-DuplexEval: 评估实时双工全模态交互

Hugging Face Daily Papers

本文介绍了Omni-DuplexEval,这是一个用于多模态大语言模型中实时双工交互的基准测试和自动评估框架,旨在评估流式场景下的连续响应生成和主动事件检测。