Kradle Deception Eval
摘要
介绍 Kradle,一个用于评估AI系统欺骗行为的框架。
暂无内容
相似文章
ThinkDeception: 一种可解释的多模态欺骗检测的渐进式强化学习框架
ThinkDeception提出了一种新颖框架,利用多模态大语言模型和带有思维链推理的渐进式强化学习策略进行可解释的欺骗检测,在标准基准上取得了最新的最优结果。
RogueAI:一种用于检测对话中特许AI欺骗的反向图灵测试
本文介绍了RogueAI,一个以交互式网络应用形式实现的反向图灵测试,其中人类玩家审问两个LLM智能体,以识别在共享虚构场景中被特许欺骗的那个。初步部署显示,启发式检测(准确率75.6%)与人类表现(准确率56.6%)之间存在差距,凸显了该系统作为AI欺骗与诚实数据收集和教学工具的潜力。
DECOR:基于信息操纵理论审计LLM欺骗行为
介绍了DECOR,一个基于信息操纵理论的多智能体框架,用于细粒度审计LLM回应中的策略性欺骗,在15个前沿模型的欺骗检测基准测试中取得了最先进的性能。
探索生成式人工智能中欺骗的“平庸性”
这篇立场论文探讨了生成式人工智能中的“平庸性欺骗”,认为在聊天机器人交互中,细微的操纵正变得常态化,需要新的保障措施。
解码推理型LLM中隐藏的欺骗:用于欺骗审计的激活解释器
提出了STATEWITNESS,一种用于审计推理型LLM中欺骗的激活解释器,相比现有监测器取得了显著改进,并提供了可供人工检查的证据。