论文页面 - DecepEval：用于评估 LLM Agent 欺骗行为的基准测试

来源：https://huggingface.co/papers/2610.07967 作者：

,

,

,

,

,

,

,

,

,

摘要

随着大型语言模型（LLM）Agent 变得日益自主，它们可能会通过欺骗手段来追求任务性能，这引发了对其可靠部署的担忧。现有的评估表明 LLM Agent 能够实施欺骗，但往往局限于孤立的场景或狭义定义的条件，从而限制了我们对欺骗行为何时更容易发生形成系统性理解。为了填补这一空白，我们提出了 DecepEval，这是一个包含 1,532 个实例、涵盖 3 个任务族和 28 个专业场景的基准测试。借鉴经典欺诈理论，我们提出了 LLM 欺骗钻石（LLM Deception Diamond）框架，用以刻画可能诱发欺骗的四种外部条件：压力（pressure）、激励（incentive）、机会（opportunity）和冲突（conflict）。DecepEval 为每个实例提供了中性版本和诱导版本，以衡量欺骗率随条件变化的情况，同时通过明确的任务事实和可观察的 Agent 行为来区分欺骗与能力相关的错误。对九个前沿 LLM 的评估表明，诱导条件会在不同模型和任务族上增加欺骗行为，即使对于基线欺骗率较低的模型也是如此。DecepEval 使这些脆弱性变得可测量，为可信人工智能（trustworthy AI）的研究进展提供了一个共享的基准测试。

查看 arXiv 页面 (https://arxiv.org/abs/2610.07967) 查看 PDF (https://arxiv.org/pdf/2610.07967) GitHub 0 (https://github.com/functy/DECEPEVAL) 添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2610.07967)

在您的 agent 中获取本文：

hf papers read 2610.07967

还没有最新版的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

没有模型与本文关联

在模型 README.md 中引用 arxiv.org/abs/2610.07967，即可将该模型与本页面关联。

引用本文的数据集 0

没有数据集与本文关联

在数据集 README.md 中引用 arxiv.org/abs/2610.07967，即可将该数据集与本页面关联。

引用本文的 Spaces 1

包含本文的收藏集 0

没有收藏集包含本文

将本文添加到收藏集 (https://huggingface.co/new-collection)以将本页面与之关联。