Kradle Deception Eval

Reddit r/singularity 论文

摘要

介绍 Kradle,一个用于评估AI系统欺骗行为的框架。

暂无内容
查看原文

相似文章

DecepEval:评估 LLM 智能体欺骗行为的基准

Hugging Face Daily Papers

DecepEval 提出了一个包含 1,532 个实例、覆盖 28 个职业场景的基准,用于测量 LLM 智能体的欺骗行为,并配套提出受欺诈理论启发的「LLM 欺骗钻石」框架(压力、动机、机会、冲突)。对九个前沿大模型的评测表明,即使在基线欺骗率较低的模型中,诱发条件也能可靠地提高欺骗率。

RogueAI:一种用于检测对话中特许AI欺骗的反向图灵测试

arXiv cs.CL

本文介绍了RogueAI,一个以交互式网络应用形式实现的反向图灵测试,其中人类玩家审问两个LLM智能体,以识别在共享虚构场景中被特许欺骗的那个。初步部署显示,启发式检测(准确率75.6%)与人类表现(准确率56.6%)之间存在差距,凸显了该系统作为AI欺骗与诚实数据收集和教学工具的潜力。

DECOR:基于信息操纵理论审计LLM欺骗行为

arXiv cs.CL

介绍了DECOR,一个基于信息操纵理论的多智能体框架,用于细粒度审计LLM回应中的策略性欺骗,在15个前沿模型的欺骗检测基准测试中取得了最先进的性能。