@geoffreyirving: 与Gopal Sarma、Rachel Steratore、Sunny Bhatt和我合著的新论文,调查形式化方法从业者对AI安全应用重要性的看法…
摘要
一篇新论文,调查了形式化方法从业者对AI安全应用的重要性与可行性,并附带一项对软件验证应更具雄心的广泛呼吁。
查看缓存全文
缓存时间: 2026/06/09 08:59
新论文与Gopal Sarma、Rachel Steratore、Sunny Bhatt及我合作,调查了形式化方法领域从业者对AI安全应用的重要性和可处理性的看法。我非常兴奋这篇论文终于发布了!
在此更广泛地呼吁大家以极其宏大的目标来验证软件!
AI辅助的形式化证明(尤其是在Lean中)正变得非常出色!我担心的是,人们会未能充分认识到这些工具的强大潜力,从而不敢着手足够庞大的项目。
因此,以下是一些预测!到2027年底,我们将拥有以下所有内容的形式化证明*:
- clang和gcc的正确性
- Linux中不存在内存错误
- 至少一家主要硬件公司(例如英特尔、苹果或英伟达)内部,整个芯片的正确性
*当然,这些证明将基于规范,而单靠人类努力不足以按时编写这些规范。因此,规范将部分由AI生成,从而只能提供对软件实际正确性的部分置信度。
还有一个细微之处:为什么我没有说“Linux的正确性”。两个更详细的声明:
- Linux与一个没有内存错误的Linux版本稀疏接近
- Linux与任何没有拒绝服务攻击的版本稀疏远离
也就是说,在不进行重大转向(如改用从零开始设计、更难出现此类错误的seL4之类系统)的情况下,无法实现操作系统针对某些漏洞的正确性。对于内存错误,我们可以在证明构建过程中局部发现并修复;而分布式拒绝服务(DDoS)问题则更为全局性。
正确的clang + 正确的gcc + 内存安全的Linux将意义重大!当然,还有许多其他值得押注的巨大项目!形式化方法具有美妙的防御优势;让我们将其规模化!
哎呀,忘了给这些预测加上具体概率:我对1、2、3每一条的置信度都超过80%。
相似文章
@paulg: 有趣。人工智能实际上将增加对形式化方法的需求和供给。你更需要它们,但你也拥有…
Jane Street,此前对形式化方法持怀疑态度,现在正在组建团队使用它们,这得益于人工智能和智能体式编码,它们降低了成本并增加了软件验证的收益。
形式化方法与编程的未来
Jane Street,此前对形式化方法持怀疑态度,现宣布转变观点,计划组建专注于形式化方法的团队。这一转变源于代理编程(agentic coding)的出现,它通过降低验证成本并增加对可靠代码的需求,改变了成本/效益计算。
描述人类与AI协作进行证明形式化的初期工作流程
来自牛津、剑桥、MIT、CMU等机构的研究人员开展了一项混合方法研究,考察人们如何将AI工具融入数学证明形式化工作流程。研究发现,借助AI辅助时,参与者的形式化准确率普遍更高,同时他们倾向于在证明发现过程中保持人类对高层决策的主导权。
形式化方法遇上大语言模型:面向先进AI系统合规性的审计、监控与干预
本文提出了一种将形式化方法(线性时序逻辑)与大语言模型相结合的技术,用于审计、监控和干预AI系统以确保其符合行为约束。研究表明,即便是小模型标注器在检测违规行为方面也能媲美前沿大语言模型裁判。
提升 AI 开发中的可验证性
OpenAI 发布了一份报告,介绍了提升 AI 开发可验证性的机制,说明了利益相关者如何验证组织关于 AI 系统属性和安全实践的声明。