τ-Emotion-Bench：通过真实用户情绪揭示 LLM Agent 交互的脆弱性

Hugging Face Daily Papers 论文
llm-agents tool-calling benchmark user-emotion data-generation qwen3 agent-reliability

摘要

τ-Emotion-Bench 提出了一个涵盖十个领域的基准，用于在情绪条件化用户交互下评估工具调用 LLM Agent，同时发布了 Tracer——一个可扩展的 Agent 数据生成流程，能够提升 Qwen3 模型的性能，并可泛化至 τ-Bench 和 τ-Trait。研究结果表明，当前最先进的 Agent 在用户表现出情绪化行为时仍然不可靠。

在长周期工具调用任务中，LLM Agent 的失败不仅源于工具使用错误，还可能因为与用户交互的低效。然而，现有的基准大多假设用户是合作且行为稳定的，情绪变化对 Agent 可靠性的影响尚未得到充分探索。我们提出 τ-Emotion-Bench，这是一个涵盖十个领域的基准，用于在保持底层任务目标不变的前提下，评估工具调用 Agent 在受控的情绪条件化用户交互中的表现。为了同时扩展基准构建和 Agent 训练，我们提出 Tracer，一个可扩展的 Agent 数据生成流程。该流程通过一个交互式 Agent--用户--环境框架，构建有据可依且符合策略约束的任务，并收集交互轨迹。通过允许不满意的用户终止低效交互，该框架提供了一种交互感知信号，能够过滤掉过度依赖用户的轨迹，从而优先保留高效工具使用的轨迹。使用两种用户模拟器进行的实验表明，前沿 Agent 仍然不可靠，平均任务成功率与持续稳定完成任务之间存在显著差距。Tracer 生成的监督数据在不同规模上一致地提升了 Qwen3 模型的性能，能够泛化到未见过的领域，并可迁移至 τ-Bench 和 τ-Trait。行为分析进一步表明，更高的任务成功率与工具执行和必要的用户跟进之间更好的平衡有关。总体而言，τ-Emotion-Bench 和 Tracer 提供了一个可扩展的框架，用于在多样化用户行为下评估 Agent 的可靠性，并通过交互感知的监督提升工具调用 Agent 的性能。
查看原文
查看缓存全文

缓存时间: 2026/10/15 07:03

论文页面 - τ-Emotion-Bench：通过真实用户情感揭示 LLM Agent 的交互脆弱性

来源：https://huggingface.co/papers/2610.19560 发布于 10 月 14 日

·

由 https://huggingface.co/sahsaeedi 提交

Amir (https://huggingface.co/sahsaeedi) 于 10 月 15 日发布

摘要

在长期工具调用任务中，LLM Agent 不仅会因工具使用错误而失败，还会因为与用户交互无效而失败。然而，现有基准测试大多假设用户是合作的且行为稳定的，导致情感变化对 Agent 可靠性的影响尚未得到充分探索。我们提出 τ-Emotion-Bench，这是一个涵盖十个领域的基准测试，用于在受控的、情感条件化的用户交互下评估工具调用 Agent，同时保持底层任务目标不变。为了扩展基准构建和 Agent 训练的规模，我们提出 Tracer，这是一个可扩展的 Agent 数据生成管道，通过交互式 Agent-用户-环境框架构建有据可依且符合策略的任务，并收集轨迹。该框架允许不满意的用户终止低效交互，从而提供一种交互感知信号，过滤掉过度依赖用户的轨迹，并倾向于有效使用工具。使用两个用户模拟器的实验表明，前沿 Agent 仍然不可靠，平均任务成功率与持续完成任务之间存在显著差距。Tracer 生成的监督数据在不同规模上持续提升 Qwen3 模型的性能，能够泛化到未见过的领域，并迁移到 τ-Bench 和 τ-Trait。行为分析进一步表明，更高的任务成功率与工具执行和必要的用户跟进之间更好的平衡有关。总体而言，τ-Emotion-Bench 和 Tracer 提供了一个可扩展的框架，用于在多样化用户行为下评估 Agent 的可靠性，并通过交互感知的监督改进工具调用 Agent。

查看 arXiv 页面 (https://arxiv.org/abs/2610.19560)　查看 PDF (https://arxiv.org/pdf/2610.19560)　项目页面 (https://tau-emotion-bench.github.io/)　GitHub4 (https://github.com/sahsaeedi/tau-emotion-bench)　添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.19560)

在你的 Agent 中获取此论文：

hf papers read 2610.19560

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 6

tau-emotion-bench/Tracer-Low-1.7B　文本生成　• 2B　• 约 2 小时前更新 (https://huggingface.co/tau-emotion-bench/Tracer-Low-1.7B)

tau-emotion-bench/Tracer-Low-4B　文本生成　• 4B　• 约 2 小时前更新 (https://huggingface.co/tau-emotion-bench/Tracer-Low-4B)

tau-emotion-bench/Tracer-Low-8B　文本生成　• 8B　• 约 2 小时前更新 (https://huggingface.co/tau-emotion-bench/Tracer-Low-8B)

tau-emotion-bench/Tracer-High-1.7B　文本生成　• 2B　• 约 2 小时前更新 (https://huggingface.co/tau-emotion-bench/Tracer-High-1.7B)

浏览引用此论文的 6 个模型 (https://huggingface.co/models?other=arxiv:2610.19560)

引用此论文的数据集 2

tau-emotion-bench/Tracer-Low-tau-emotion-data　查看器　• 约 2 小时前更新　• 21.4k　• 2 (https://huggingface.co/datasets/tau-emotion-bench/Tracer-Low-tau-emotion-data)

tau-emotion-bench/Tracer-High-tau-emotion-data　查看器　• 约 2 小时前更新　• 32.7k　• 1 (https://huggingface.co/datasets/tau-emotion-bench/Tracer-High-tau-emotion-data)

引用此论文的 Spaces 0

没有 Space 关联此论文。

在 Space 的 README.md 中引用 arxiv.org/abs/2610.19560 即可从此页面链接。

包含此论文的收藏夹 0

没有收藏夹包含此论文。

将此论文添加到收藏夹 (https://huggingface.co/new-collection) 以从此页面链接。

相似文章

BenchTrace：用于测试LLM智能体反思能力与受控演进的基准

arXiv cs.AI

BenchTrace是一个用于评估LLM智能体自我进化能力的基准，重点通过包含1,821个标注回合的数据集以及两个评估任务——反思评估与进化评估——来测试反思与受控演进。使用Qwen3-32B和GPT-4.1进行的实验表明，两个模型均表现不佳，主要瓶颈在于诊断，并存在泛化与遗忘问题。

揭示对话情感识别中的弱点

arXiv cs.AI

本文通过分析大型语言模型（LLMs）在零样本设置中的表现，研究对话情感识别（ERC）的弱点，揭示了由于标注模糊性导致的系统性失败，并提出了一个LLM-as-Judge框架以实现更鲁棒的评估。