@geoffreyirving: 与Gopal Sarma、Rachel Steratore、Sunny Bhatt和我合著的新论文,调查形式化方法从业者对AI安全应用重要性的看法…

X AI KOLs Following 论文

摘要

一篇新论文,调查了形式化方法从业者对AI安全应用的重要性与可行性,并附带一项对软件验证应更具雄心的广泛呼吁。

与Gopal Sarma、Rachel Steratore、Sunny Bhatt和我合著的新论文,调查了形式化方法从业者对AI安全应用重要性及可行性的看法。我很高兴这篇论文终于发表了! 下面是一个更广泛的呼吁,希望大家对软件验证保持雄心壮志!🧵 https://t.co/jZZ5N8ALbl
查看原文
查看缓存全文

缓存时间: 2026/06/09 08:59

新论文与Gopal Sarma、Rachel Steratore、Sunny Bhatt及我合作,调查了形式化方法领域从业者对AI安全应用的重要性和可处理性的看法。我非常兴奋这篇论文终于发布了!

在此更广泛地呼吁大家以极其宏大的目标来验证软件!

AI辅助的形式化证明(尤其是在Lean中)正变得非常出色!我担心的是,人们会未能充分认识到这些工具的强大潜力,从而不敢着手足够庞大的项目。

因此,以下是一些预测!到2027年底,我们将拥有以下所有内容的形式化证明*:

  1. clang和gcc的正确性
  2. Linux中不存在内存错误
  3. 至少一家主要硬件公司(例如英特尔、苹果或英伟达)内部,整个芯片的正确性

*当然,这些证明将基于规范,而单靠人类努力不足以按时编写这些规范。因此,规范将部分由AI生成,从而只能提供对软件实际正确性的部分置信度。

还有一个细微之处:为什么我没有说“Linux的正确性”。两个更详细的声明:

  1. Linux与一个没有内存错误的Linux版本稀疏接近
  2. Linux与任何没有拒绝服务攻击的版本稀疏远离

也就是说,在不进行重大转向(如改用从零开始设计、更难出现此类错误的seL4之类系统)的情况下,无法实现操作系统针对某些漏洞的正确性。对于内存错误,我们可以在证明构建过程中局部发现并修复;而分布式拒绝服务(DDoS)问题则更为全局性。

正确的clang + 正确的gcc + 内存安全的Linux将意义重大!当然,还有许多其他值得押注的巨大项目!形式化方法具有美妙的防御优势;让我们将其规模化!

哎呀,忘了给这些预测加上具体概率:我对1、2、3每一条的置信度都超过80%。

相似文章

形式验证的反对之声:50年后

Hacker News Top

本文重新审视了一篇1979年批评形式验证的论文,认为近期软件工程中基于人工智能的发展正在重新激发兴趣并挑战历史性的反对意见。

你对形式验证一窍不通

Hacker News Top

这是一篇评论文章,探讨了关于形式验证的常见误解,并强调了它在确保软件和AI系统可靠性中的关键作用。