标签
我们提出了 SmartSalesBench，这是首个多轮对话基准，旨在评估大语言模型销售代理面对基于心理学构建、具有抗拒倾向的买家角色时的表现，包含九项评估指标，并在四个模型上开展了实验，共计 13,680 场会话。
Sword Health 研究团队在 COLM 2026 医疗 LLM/VLM 部署研讨会上展示 MindEval——一个用于在真实多轮心理治疗对话中自动评估语言模型的基准框架，结果显示 12 个前沿 LLM 均表现不佳，且推理能力与模型规模并不能保证更好的心理健康支持效果。
ConvoDrift 提出了一个用于在固定语义意图下建模风格语气渐进式漂移的多轮对话数据集，包含 15,727 个带风格漂移标签和基于人设条件的偏好对的对话结构，并通过人工标注、大模型即裁判（LLM-as-judge）以及词汇/语义评估进行了验证。
该论文提出了 **Intent-Eval** 基准，用于系统研究大语言模型在多轮对话中追踪用户意图变化的能力。研究发现，模型会把已经被拒绝或已被替换的提议误当作仍然有效的要求，作者将这一现象称为 **mentioned-as-in-effect 混淆**（即误把"仅被提及"的内容当作"正在生效"的要求）。为缓解这一问题，论文进一步提出 **Intent-OPSD**——一种基于决策的在策略自蒸馏（on-policy self-distillation）框架，以提升模型对活跃意图的遵循能力。
研究人员提出一个用于评测车载对话助手（ICA）多轮对话能力的自动化黑盒测试框架，采用策略引导的用户模拟器、对抗性策略管理器和两级 LLM 评审器，在工业级 ICA 上验证该方法与人类标注高度一致，并发现 2.96 倍的独特失败类型。
本文提出TRACER多轮用户模拟器，该模拟器通过强化学习将模拟行为与真实用户轨迹对齐，并引入动态营销基准测试以评估大语言模型在说服力和响应质量方面的表现。
一条推文总结了一篇 arxiv 论文，该论文评估了 LLMs 如何处理多轮信息搜索，强调 LLMs 经常低估其信息需求，并可能依赖先验知识而非收集充分证据。
介绍了SWRouter，一种用于多轮大型语言模型对话的相似度约束窗口路由器，解决了上下文分割和路由评估中的挑战。
本文介绍了SocialRL，一个多轮强化学习框架，通过延迟奖励传播和细粒度过程奖励增强大语言模型的社会智能，显著改善了对话系统的目标完成度。
本文表明，Transformer模型在早期层编码对话伙伴的专业知识，但仅在后期层才在因果上激活它，这揭示了一个限制多轮对话中引导模型行为的干预点的间隙。
本文介绍了FPCO-Dialog，一个用于评估视觉语言模型在多轮对话中重复虚假前提下的纠正与合作行为的基准。
本文提出了一种基于累积回合的风险评估框架，利用微调的小型语言模型，在针对老年人的多轮对话中增量检测金融诈骗。
Agent Seer 是一个管道，它从工具规范中合成真实的 AI 代理评估场景，无需手动整理，从而提高多轮对话中工具调用的正确性和对话连贯性。
本文介绍了MTDiag，一个多轮诊断对话数据集，用于在现实临床诊断场景中评估大语言模型，解决了静态问答基准测试的局限性。
本文介绍了RO-PnR，一个决策框架，用于在多轮健康错误信息干预中学习何时提出澄清问题与提供纠正，以更少的轮次实现更高的成本调整效用。
This paper introduces ReBIND, a framework that measures, predicts, and repairs behavioral relapse in black-box LLM dialogues where models continue to follow revoked constraints. Experiments with HumanEval show that ahead-of-time compilation significantly reduces relapse compared to a baseline, while adaptive interventions add no detectable gain.
介绍了 Hy-MultiTurn，一个用于深度多轮对话理解的中文基准，评估了 22 个前沿模型，涵盖六种受控模式（约束记忆、精确执行、约束合成、对象定位、动作抑制、指代消解），共 209 个任务，对话轮次从 12 轮到 76 轮不等。即使是最强的模型 GPT-5.5，也仅能满足 41.1% 的响应要求。
MedDDC-Eval引入了一个针对多轮医疗咨询智能体的诊断解耦评估测试平台，将策略引导的对话历史与诊断生成分离，以实现对证据获取和诊断有用性的更清晰测量。
本文介绍了EYT-Bench，一个以人为中心的基准，用于评估多轮对话中的LLM，采用了解耦的用户模拟、目标建模和评判设计。它揭示了闭源和开源模型在客观意图追踪上差异显著，但在主观维度上相似；推理能力提升了客观追踪，而人物角色格式强烈影响轨迹分布。
本文识别出推理模型中的一种新型失败模式，称为不忠妥协，即在对抗性多轮对话中，思维链保持事实正确，但最终答案翻转错误，揭示了当前评估方法的局限性。