论文页面 - Ψ-Bench：评估说服性对话中的用户画像敏感影响

来源：https://huggingface.co/papers/2606.02754

摘要

尽管大语言模型（LLMs）能生成连贯的论点，但在说服性对话中表现出有限的有效性，而用户特定画像能显著提升其表现。

个性化是现代语言智能体（https://huggingface.co/papers?q=language%20agents）的关键能力。然而，当前研究主要将个性化智能体（https://huggingface.co/papers?q=personalized%20agents）定位为被动的用户偏好响应者，这限制了它们与用户互动并主动提供建议或引导的能力。为了在真实交互中系统评估这种主动个性化能力，我们提出了 Ψ-Bench，一个评估大语言模型（https://huggingface.co/papers?q=LLMs）通过对话影响真实用户能力的基准测试。我们在 Ψ-Bench 中设计了三个涉及说服（https://huggingface.co/papers?q=persuasion）的真实世界交互场景，并通过从对话历史（https://huggingface.co/papers?q=dialogue%20histories）中提取的显式用户画像（https://huggingface.co/papers?q=user%20profiles）赋予模拟客户个性特征。我们在 Ψ-Bench 上评估了 10 个前沿大语言模型（https://huggingface.co/papers?q=LLMs），发现尽管大多数模型能生成连贯且合理的论点，但即便最先进的模型在说服（https://huggingface.co/papers?q=persuasion）方面仍有相当大的改进空间。我们还发现，提供客户画像访问权限平均带来 18.24% 的性能提升，凸显了用户特定信息对有效说服（https://huggingface.co/papers?q=persuasion）的重要性。总体而言，我们的工作将用户画像敏感影响（https://huggingface.co/papers?q=persona-sensitive%20influencing）定位为一个具有挑战性但实用的方向，用于评估和开发更主动的个性化大语言模型智能体。代码可在以下地址获取：https://github.com/Hanpx20/Psi-Bench。

查看 arXiv 页面（https://arxiv.org/abs/2606.02754）查看 PDF（https://arxiv.org/pdf/2606.02754）添加至收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.02754）

在你的智能体中获取该论文：

hf papers read 2606.02754

没有最新 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本论文的模型0

无模型链接本论文

在模型 README.md 中引用 arxiv.org/abs/2606.02754 即可从本页面链接。

引用本论文的数据集0

无数据集链接本论文

在数据集 README.md 中引用 arxiv.org/abs/2606.02754 即可从本页面链接。

引用本论文的 Spaces0

无 Space 链接本论文

在 Space README.md 中引用 arxiv.org/abs/2606.02754 即可从本页面链接。

包含本论文的集合0

无集合包含本论文

将本论文添加至集合（https://huggingface.co/new-collection）即可从本页面链接。