从文本到多模态交互的多轮对话人工智能：数据、模型、评估与开放挑战

arXiv cs.CL 论文
multi-turn-conversational-ai multimodal-interaction research-survey datasets evaluation challenges

摘要

本文综述了涵盖文本、音频和多模态系统的多轮对话人工智能，分析了数据集、建模范式和评估方法，同时强调了关键挑战，如持久记忆和跨轮次对齐。

arXiv:2608.17605v1 公告类型：新 摘要：对话人工智能正在从孤立的文本提示转向持续的、多模态交互。在真实对话中，用户会澄清目标、修改请求、打断响应、切换话题并引入新证据，同时期望系统能在不同轮次间保持上下文。这使得多轮对话成为一个独特的挑战，要求系统维护和更新记忆、在跨模态、工具和外部知识中对齐响应，并适应不同的语言和文化。本研究综述了多轮对话人工智能，涵盖纯文本对话、AudioLLMs和语音原生系统、多模态和全模态系统，以及工具增强代理。我们围绕数据集和基准、建模范式、训练策略、评估设置和跨领域挑战组织了文献。我们的分析表明，对多模态的支持已经比维持会话内连贯交互的能力发展得更快。尽管在跨模态感知、说话和行动方面能力更强，但当前系统仍在持久记忆、跨轮次对齐、全双工交互、鲁棒评估和文化适应方面存在困难。我们以一个研究议程作为结尾，针对能够跨轮次、模态和文化进行记忆、修订、对齐、说话、倾听、行动和适应的系统。(https://github.com/faiza-sfa/multiturn-conversational-ai-survey)
查看原文
查看缓存全文

缓存时间: 2026/08/19 10:01 

# 从文本到多模态交互的多轮对话人工智能：数据、模型、评估与开放挑战
来源：https://arxiv.org/abs/2608.17605
查看PDF (https://arxiv.org/pdf/2608.17605)

> 摘要：对话式人工智能正从孤立的文本提示转向持续、多模态的交互。在真实对话中，用户会澄清目标、修改请求、打断回应、转换话题并引入新证据，同时期望系统能跨轮次保持上下文。这使得多轮对话成为一个独特挑战，要求系统能够维护和更新记忆，在多模态、工具和外部知识之间锚定回应，并适应不同语言和文化。本研究综述了多轮对话人工智能，涵盖纯文本对话、AudioLLM 与语音原生系统、多模态与全模态系统，以及工具增强智能体。我们围绕数据集与基准测试、建模范式、训练策略、评估设置和跨领域挑战组织文献。分析表明，多模态支持的发展速度快于维持跨会话连贯交互的能力。尽管在跨模态的感知、发声和行动能力有所增强，当前系统仍在持久记忆、跨轮次锚定、全双工交互、鲁棒评估和文化适配方面面临挑战。最后，我们提出了一个研究议程，旨在构建能够跨轮次、跨模态和跨文化地记忆、修正、锚定、发声、倾听、行动和适应的系统。(本链接 https://github.com/faiza-sfa/multiturn-conversational-ai-survey)

## 提交历史

来自：Firoj Alam \[查看邮件 (https://arxiv.org/show-email/97eccbd7/2608.17605)\] **\[v1\]**2026年8月18日 星期二 10:14:21 UTC \(5,226 KB\)

相似文章

Hy-MultiTurn：面向深度多轮对话理解的六维基准

arXiv cs.CL

介绍了 Hy-MultiTurn，一个用于深度多轮对话理解的中文基准，评估了 22 个前沿模型，涵盖六种受控模式（约束记忆、精确执行、约束合成、对象定位、动作抑制、指代消解），共 209 个任务，对话轮次从 12 轮到 76 轮不等。即使是最强的模型 GPT-5.5，也仅能满足 41.1% 的响应要求。

通过多模态突破纯文本瓶颈？

Reddit r/AI_Agents

本文讨论了多模态 AI 模型（如 GPT-4o 和 Claude 3.5 Sonnet）如何通过支持可视化调试、音频转数据以及增强型 RAG 系统，来克服纯文本处理的瓶颈。

多轮推理中信息分片段到达时的处理：可扩展分片与记忆增强强化学习

arXiv cs.CL

本文针对大语言模型在多轮对话中因信息分散而表现不佳的“迷失在对话”问题，提出了一种可扩展的分片流水线，将单轮问答数据集转化为多轮训练数据，并利用基于可验证奖励的强化学习训练一个维持紧凑滚动记忆的记忆增强策略，从而提高了多轮推理准确性，并零样本泛化到更困难的任务。