# MIMESIS：将用户模拟器作为训练环境来学习交互式智能体

Hugging Face Daily Papers 论文
user-simulation reinforcement-learning interactive-agents language-models self-distillation multi-turn

摘要

This paper presents MIMESIS, a specialized user simulator (a 9B model) trained on real user conversations with explicit reasoning supervision, surpassing frontier models in behavioral fidelity. The study further freezes this simulator and uses it for multi-turn reinforcement learning to train agents, and proposes the **Coached On-Policy Self-Distillation (CSD)** method, achieving stronger generalization performance across nine unseen user simulators.

训练和评估交互式智能体通常需要丰富的用户交互，然而收集人类反馈的成本高昂且难以规模化。模拟用户提供了一种可扩展的替代方案，但它们既要贴近真实用户行为，又要能为智能体提供有价值的学习体验。相比之下，大多数智能体训练框架依赖现成的助手型大语言模型，这些模型的高帮助性往往使其相比真实用户过于配合、表述过于明确，且行为缺乏多样性。 我们提出 **MIMESIS**，一个专为用户模拟而构建的模型，它基于人类对话进行训练，配备了显式推理监督，并融入了从真实用户交互中提炼出的 13 种真实行为模式。实验结果表明，我们的 9B 模型在 SOUL-Index 上达到 65.7，超越了最强的前沿模型。与 RealUserSim 和 SimulatorArena 上最强的基线 Claude-Opus-5 相比，MIMESIS 分别将行为保真度提升了 13.4 个百分点，并将图灵距离降低了 3.6 个点。 随后，我们冻结该模拟器，通过与冻结的模拟器进行多轮强化学习交互来训练智能体。在八个环境中，使用 MIMESIS 进行训练在所有九个未见过的用户模拟器上均优于使用 GPT-5.5 的训练效果，展现出更强的对新用户模拟器的泛化能力。此外，我们提出了一种**教练式在线自蒸馏（Coached On-Policy Self-Distillation, CSD）**方法，该方法利用模拟器生成的隐式推理轨迹及其后续话语，作为智能体是否有效满足用户需求的反馈。一个教练模块将这些信息转化为简洁的指导笔记，描述智能体如何更好地预判用户需求并在交互过程中调整自身行为。CSD 将这种反馈转化为超越稀疏任务奖励的稠密逐词元监督信号，在所有九个评测用户模型上均带来了进一步的性能提升。
查看原文
查看缓存全文

缓存时间: 2026/10/08 19:59

论文页面 - MIMESIS：将用户模拟器作为交互式智能体的训练环境

来源：https://huggingface.co/papers/2610.09484

摘要

训练和评估交互式语言智能体通常需要丰富的用户交互，然而收集人工反馈成本高昂且难以规模化。模拟用户提供了一种可扩展的替代方案，但它们既要像真实用户，又要能为智能体提供有价值的学习体验。相比之下，大多数智能体训练框架依赖现成的助手型 LLM，这些模型的“乐于助人“特质往往使它们比真实用户更加过度配合、表达过于直白且行为高度同质化。我们提出 MIMESIS，这是一个专门训练的用户模拟器，基于人类对话数据进行训练，拥有显式的推理监督，并从真实用户交互中提炼出 13 种逼真的行为模式。实验结果显示，我们的 9B 模型达到了 65.7 的 SOUL-Index，超过了最强的前沿模型。与在 RealUserSim 和 SimulatorArena 上表现最强的基线 Claude-Opus-5 相比，MIMESIS 分别将行为保真度提升 13.4 个百分点，并将图灵距离降低 3.6 个百分点。随后，我们冻结该模拟器，并通过与冻结模拟器交互、使用多轮强化学习来训练智能体。在八个环境中的测试表明，使用 MIMESIS 训练的智能体在全部九个未见过的用户模拟器上的表现均优于使用 GPT-5.5 训练的智能体，展现出对新用户模拟器更强的泛化能力。此外，我们还提出了 Coached On-Policy Self-Distillation（CSD，带指导的同策略自蒸馏），该方法利用模拟器生成的私有推理轨迹以及随后的发言，作为智能体是否满足用户需求的反馈。一个“教练“（coach）模块会将这些信息转化为简洁的指导笔记，说明智能体如何更好地预判用户需求，并在交互过程中调整自身行为。CSD 将这种反馈转化为超越稀疏任务奖励的稠密 token 级监督信号，在全部九个评测用户模型上带来了进一步的性能提升。

查看 arXiv 页面 (https://arxiv.org/abs/2610.09484) 查看 PDF (https://arxiv.org/pdf/2610.09484) 项目页面 (https://github.com/VietHoang1512/mimesis) GitHub0 (https://github.com/VietHoang1512/mimesis) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.09484)

在你的智能体中获取这篇论文：

hf papers read 2610.09484

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 3

phanviethoang1512/MIMESIS-9B 文本生成 • 9B • 更新于 22 分钟前 • 411 (https://huggingface.co/phanviethoang1512/MIMESIS-9B)

phanviethoang1512/MIMESIS-4B 文本生成 • 5B • 更新于 22 分钟前 • 427 (https://huggingface.co/phanviethoang1512/MIMESIS-4B)

phanviethoang1512/Qwen3-8B-UserRL-Agent 文本生成 • 8B • 更新于 21 分钟前 (https://huggingface.co/phanviethoang1512/Qwen3-8B-UserRL-Agent)

引用本文的数据集 0

没有与此论文关联的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2610.09484 即可从本页面链接过去。

引用本文的 Space 0

没有与此论文关联的 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2610.09484 即可从本页面链接过去。

包含本文的合集 1

相似文章

MADS：面向鲁棒对话智能体的多智能体对话模拟

arXiv cs.CL

提出了 MADS（多智能体对话模拟）合成数据生成管线，用于生成含对抗性、失败场景的对话轨迹，并构建了覆盖 6 个领域、55 个角色和 1095 段对话的 MADS-Bench 基准，以评估任务导向对话智能体在非合作用户行为下的鲁棒性。

通过合成自蒸馏实现小型模型的持续后训练

Hugging Face Daily Papers

该论文提出Synthetic Self-Distillation (SynthSelf)，通过借助同家族稍大的对齐模型进行合成自蒸馏，实现小型模型的持续后训练，在保持原有分布的同时兼顾新能力获取与知识保留，并在多个基准上超越现有方法。

Cowork-Gym：大规模合成交互式工作环境

Hugging Face Daily Papers

Cowork-Gym 通过“构建—执行—修订”循环与有状态用户模拟器，大规模合成协作式智能体环境（6.49 万个，涵盖 14 个应用场景），并用于对 9B/27B/35B-A3B Qwen 模型进行后训练，在六个智能体基准测试上的得分分别提升 8.7、6.4、4.1 分，其中 27B 版本在 PawBench 和 ClawEval 上取得最高平均分。

RealUserSim：通过真实用户模拟弥合智能体基准测试中的现实差距

arXiv cs.AI

本文介绍了RealUserSim，一个将基于LLM的用户模拟扎根于来自14,000+真实对话的人类行为数据中的框架，旨在弥合智能体基准测试中的现实差距。研究表明，基于真实数据的模拟将行为匹配率从24.2%提升至45.3%，并揭示了协作型模拟器无法发现的失效机制。