@geoffreyirving: 与Gopal Sarma、Rachel Steratore、Sunny Bhatt和我合著的新论文,调查形式化方法从业者对AI安全应用重要性的看法…

X AI KOLs Following 论文

摘要

一篇新论文,调查了形式化方法从业者对AI安全应用的重要性与可行性,并附带一项对软件验证应更具雄心的广泛呼吁。

与Gopal Sarma、Rachel Steratore、Sunny Bhatt和我合著的新论文,调查了形式化方法从业者对AI安全应用重要性及可行性的看法。我很高兴这篇论文终于发表了! 下面是一个更广泛的呼吁,希望大家对软件验证保持雄心壮志!🧵 https://t.co/jZZ5N8ALbl
查看原文
查看缓存全文

缓存时间: 2026/06/09 08:59

新论文与Gopal Sarma、Rachel Steratore、Sunny Bhatt及我合作,调查了形式化方法领域从业者对AI安全应用的重要性和可处理性的看法。我非常兴奋这篇论文终于发布了!

在此更广泛地呼吁大家以极其宏大的目标来验证软件!

AI辅助的形式化证明(尤其是在Lean中)正变得非常出色!我担心的是,人们会未能充分认识到这些工具的强大潜力,从而不敢着手足够庞大的项目。

因此,以下是一些预测!到2027年底,我们将拥有以下所有内容的形式化证明*:

  1. clang和gcc的正确性
  2. Linux中不存在内存错误
  3. 至少一家主要硬件公司(例如英特尔、苹果或英伟达)内部,整个芯片的正确性

*当然,这些证明将基于规范,而单靠人类努力不足以按时编写这些规范。因此,规范将部分由AI生成,从而只能提供对软件实际正确性的部分置信度。

还有一个细微之处:为什么我没有说“Linux的正确性”。两个更详细的声明:

  1. Linux与一个没有内存错误的Linux版本稀疏接近
  2. Linux与任何没有拒绝服务攻击的版本稀疏远离

也就是说,在不进行重大转向(如改用从零开始设计、更难出现此类错误的seL4之类系统)的情况下,无法实现操作系统针对某些漏洞的正确性。对于内存错误,我们可以在证明构建过程中局部发现并修复;而分布式拒绝服务(DDoS)问题则更为全局性。

正确的clang + 正确的gcc + 内存安全的Linux将意义重大!当然,还有许多其他值得押注的巨大项目!形式化方法具有美妙的防御优势;让我们将其规模化!

哎呀,忘了给这些预测加上具体概率:我对1、2、3每一条的置信度都超过80%。

相似文章

形式化方法与编程的未来

Lobsters Hottest

Jane Street,此前对形式化方法持怀疑态度,现宣布转变观点,计划组建专注于形式化方法的团队。这一转变源于代理编程(agentic coding)的出现,它通过降低验证成本并增加对可靠代码的需求,改变了成本/效益计算。

描述人类与AI协作进行证明形式化的初期工作流程

arXiv cs.AI

来自牛津、剑桥、MIT、CMU等机构的研究人员开展了一项混合方法研究,考察人们如何将AI工具融入数学证明形式化工作流程。研究发现,借助AI辅助时,参与者的形式化准确率普遍更高,同时他们倾向于在证明发现过程中保持人类对高层决策的主导权。

提升 AI 开发中的可验证性

OpenAI Blog

OpenAI 发布了一份报告,介绍了提升 AI 开发可验证性的机制,说明了利益相关者如何验证组织关于 AI 系统属性和安全实践的声明。