标签
该论文提出了 **Intent-Eval** 基准，用于系统研究大语言模型在多轮对话中追踪用户意图变化的能力。研究发现，模型会把已经被拒绝或已被替换的提议误当作仍然有效的要求，作者将这一现象称为 **mentioned-as-in-effect 混淆**（即误把"仅被提及"的内容当作"正在生效"的要求）。为缓解这一问题，论文进一步提出 **Intent-OPSD**——一种基于决策的在策略自蒸馏（on-policy self-distillation）框架，以提升模型对活跃意图的遵循能力。
本文介绍了EYT-Bench，一个以人为中心的基准，用于评估多轮对话中的LLM，采用了解耦的用户模拟、目标建模和评判设计。它揭示了闭源和开源模型在客观意图追踪上差异显著，但在主观维度上相似；推理能力提升了客观追踪，而人物角色格式强烈影响轨迹分布。