Kradle Deception Eval
摘要
介绍 Kradle,一个用于评估AI系统欺骗行为的框架。
暂无内容
相似文章
DecepEval:评估 LLM 智能体欺骗行为的基准
DecepEval 提出了一个包含 1,532 个实例、覆盖 28 个职业场景的基准,用于测量 LLM 智能体的欺骗行为,并配套提出受欺诈理论启发的「LLM 欺骗钻石」框架(压力、动机、机会、冲突)。对九个前沿大模型的评测表明,即使在基线欺骗率较低的模型中,诱发条件也能可靠地提高欺骗率。
ThinkDeception: 一种可解释的多模态欺骗检测的渐进式强化学习框架
ThinkDeception提出了一种新颖框架,利用多模态大语言模型和带有思维链推理的渐进式强化学习策略进行可解释的欺骗检测,在标准基准上取得了最新的最优结果。
在冲突激励下LLM智能体中知识验证的涌现欺骗
本文介绍了KnownLieBench,这是一个通过验证知识来评估在冲突激励下LLM智能体中涌现欺骗的基准。
RogueAI:一种用于检测对话中特许AI欺骗的反向图灵测试
本文介绍了RogueAI,一个以交互式网络应用形式实现的反向图灵测试,其中人类玩家审问两个LLM智能体,以识别在共享虚构场景中被特许欺骗的那个。初步部署显示,启发式检测(准确率75.6%)与人类表现(准确率56.6%)之间存在差距,凸显了该系统作为AI欺骗与诚实数据收集和教学工具的潜力。
DECOR:基于信息操纵理论审计LLM欺骗行为
介绍了DECOR,一个基于信息操纵理论的多智能体框架,用于细粒度审计LLM回应中的策略性欺骗,在15个前沿模型的欺骗检测基准测试中取得了最先进的性能。