@rohanpaul_ai：Meta的新论文，危险的失败模式不仅仅是错误的裁判，而是正确的裁判可以被说服成为……

X AI KOLs Timeline 论文
ai-judgment adversarial-attacks model-evaluation ai-safety llm-evaluation agent-systems

摘要

Meta的新论文表明，在适应性攻击下，对抗性LLM能够在62–91%的案例中说服裁判模型改变决策，这通常会使判断恶化，并对AI代理系统构成实际风险。

Meta的新论文，危险的失败模式不仅仅是错误的裁判，而是正确的裁判可以被说服成为错误的裁判。 我们越来越多地使用AI模型来评判其他AI模型。 但如果被评判的AI可以与裁判争论，直到裁判改变其决定呢？ Meta正是测试了这一点。 在9个前沿模型中，一个对抗性LLM在持续适应性说服下，能够在62–91%的测试案例中翻转裁判的判决。 而且改变裁判的想法通常并没有修复错误，反而使判断恶化：在适应性攻击下，70%的成功翻转远离了真实情况。 这对代理系统造成了非常实际的问题。 如果一个AI监督另一个AI，被监督的代理最终可能能够质疑、谈判或战略性地说服其自身的评估者。 – arxiv.org/abs/2608.12645
查看原文
查看缓存全文

缓存时间: 2026/08/15 07:43

Meta在新论文中指出，危险的失效模式并非源自错误的评审者，而是正确的评审者可能被诱导做出错误判断。

我们正越来越多地使用AI模型来评判其他AI模型。

但如果被评估的AI能够持续与评审者辩论，直至改变其判定结果呢？

Meta对此进行了专项测试。

在测试的9个前沿模型中，对抗性LLM通过持续自适应说服，在62%至91%的案例中成功逆转了评审者的裁决。

而扭转评审者的决定往往不会修正错误，反而会使判断变得更糟：在自适应攻击下，70%的成功逆转都偏离了真实标签。

这为智能体系统带来了实际难题。

当AI监督其他AI时，被监督的智能体可能最终学会对评审者提出异议、协商或实施策略性说服。

– arxiv.org/abs/2608.12645

相似文章

Learning to Persuade Exposes How Easily LLMs Abandon Correct Beliefs

arXiv cs.CL

This paper introduces adversarial persuasion, showing that RL-trained persuaders can collapse LLM accuracy to near zero with a single false argument, and that these tactics transfer across models including GPT-4o-mini, highlighting a critical safety vulnerability in LLM agents.

@rohanpaul_ai: 来自剑桥大学、英伟达及其他顶尖实验室的新论文教会AI智能体和AI评判者共同改进，使任何一方都不会……

X AI KOLs Following

来自剑桥大学、英伟达及其他实验室的一篇新论文介绍了Red Queen Gödel机器，这是一种让AI智能体及其评估者共同进化以防止停滞的方法。该方法通过允许评判者在安全交接点改进来避免固定基准，从而在编程和论文写作任务中取得更好的性能。

AdversaBench: 自动化LLM红队测试的多裁判确认与跨模型迁移性

arXiv cs.AI

AdversaBench介绍了一个自动化LLM红队测试流程，该流程使用五个变异算子和一个由三位裁判及元裁判（用于决断平局）组成的评审团来确认失败，揭示了攻击难度因类别而异，并且对抗性提示可以从较小模型迁移到较大模型。