如何避免辩论:通过双重高效交互证明实现可扩展的AI安全
摘要
本文提出了用于AI安全验证的单证明者交互证明,避免了两竞争模型之间的辩论需求,并将该方法扩展到预言机辅助计算。
arXiv:2607.03561v1 公告类型: 新
摘要:随着AI模型能力不断增强,验证其输出是否符合我们的意图变得至关重要。近期一系列工作聚焦于通过辩论进行验证,这是一种交互证明模型,其中两个能力相当的强大证明者(即AI模型)相互辩论,以说服弱验证者(如人类)相信其主张的正确性。然而,辩论假设两个AI模型能力相等且其中一个是诚实的,这在现实中可能不成立。
在本工作中,我们展示了\emph{如何避免辩论}:率先研究用于AI安全的\emph{单证明者}交互证明。先前关于单证明者交互证明的结果不能直接应用于AI安全场景,例如,当计算涉及对预言机的访问(如人类判断或外部数据库如网络)时,它们就不适用。我们提出了用于预言机辅助计算(也称为相对化证明)的双重高效单证明者交互证明和论证,适用于以下两种情形:(1) 计算具有鲁棒性,即若预言机查询结果中至多一小部分错误,输出不会改变;(2) 预言机是低次多项式。这些结果表明,即使在结构化或抗噪声的预言机访问条件下,无需辩论也可实现交互验证。
查看缓存全文
缓存时间: 2026/07/07 04:35
# How to Avoid Debate: Scalable AI Safety via Doubly-Efficient Interactive Proofs Source: https://arxiv.org/abs/2607.03561 View PDF (https://arxiv.org/pdf/2607.03561) > 摘要:随着AI模型不断开发出强大的能力,验证其输出是否符合我们的意图变得至关重要。最近的一系列工作聚焦于通过辩论进行验证,这是一种交互证明模型,其中两个竞争性的强大证明者(即AI模型)相互辩论,以说服一个弱验证者(即人类)相信其主张的正确性。然而,辩论假设两个AI模型拥有相等的能力,并且其中一个是诚实的,这不一定现实。在这项工作中,我们展示了*如何避免辩论*:我们开创了对AI安全的*单证明者*交互证明的研究。先前关于单证明者交互证明的结果不能直接应用于AI安全场景:例如,当计算可以访问预言机(如人类判断或外部数据库如网络)时,这些方法就不起作用。我们针对预言机辅助计算(也称为相对化证明)提出了双高效的单证明者交互证明和论证,适用于以下场景:(1) 计算是鲁棒的,即如果预言机查询的回答中最多有一小部分不正确,输出不会改变;或 (2) 预言机是一个低次多项式。这些结果表明,在结构化或容噪的预言机访问下,即使没有辩论,交互验证也是可能的。 ## 提交历史 From: Zoe Xi [view email](https://arxiv.org/show-email/c74041ac/2607.03561) **[v1]** Fri, 3 Jul 2026 18:49:20 UTC (6,625 KB)
相似文章
通过辩论实现AI安全
OpenAI提出了一种新颖的AI安全方法,其中两个AI代理相互辩论,而人类评判员评估他们的论证,这使人类能够监督行为过于复杂而难以直接理解的AI系统。该方法利用辩论和对抗性推理来使先进AI与人类价值观和偏好保持一致。
如何进行敏感辩论:面向AI辩论的实例最优协议
该论文提出了一种用于可扩展监督中AI辩论的新型实例最优协议。它保证了最坏情况下的正确性,使诚实成为占优策略均衡,并证明了黑盒下界,表明在具有稳定分解的问题上,没有任何协议能够超越它。
可验证的智能体基础设施:面向主权AI系统的基于证明的授权机制
本文提出了一种分布式信任框架(DTF),用于自主AI代理系统中的可验证、基于证明的授权,通过要求提供理由证明和共识执行来应对以身份为中心的权限所带来的风险。
在AI辩论中,诚实并非总是足够
本论文提出战略互动监督(SIO),探讨AI代理如何在辩论协议中,在保持任务性能的同时追求潜在目标,并强调监督评估应超越裁决的正确性。
提升 AI 开发中的可验证性
OpenAI 发布了一份报告,介绍了提升 AI 开发可验证性的机制,说明了利益相关者如何验证组织关于 AI 系统属性和安全实践的声明。