@AnimaAnandkumar: TorchLean 代码库现已开放!TorchLean 是一个用于可验证神经网络软件的 Lean 4 框架。它支持……
摘要
TorchLean 是一款全新发布的 Lean 4 框架,可实现神经网络软件的形式化验证,具备类型化张量、可验证自动微分、PyTorch 互操作性及 GPU 执行等特性。此次发布进一步扩展了对扩散模型、GPT 风格 Transformer 和状态空间模型等现代架构的支持,将实际的机器学习工作流与数学证明检查紧密连接。
查看缓存全文
缓存时间: 2026/05/11 22:46
TorchLean 代码库现已开放!TorchLean 是一个用于验证神经网络软件的 Lean 4 框架。它支持带类型的张量、可运行的训练、图中间表示、经验证的反向模式自动微分、Float32/IEEE 语义、CROWN/IBP 风格的验证、证书检查、PyTorch 互操作以及 CUDA/GPU 执行。根据我们最初帖子收到的反馈与评论,我们大幅扩展了 TorchLean:神经算子/FNO、扩散模型、GPT 风格的文本模型、GPT-2 风格的运行、Mamba/状态空间模型、强化学习、3D 视觉证书、Bug Zoo 案例研究、PyTorch 互操作等等。项目页面:https://lean-dojo.github.io/TorchLean/ 代码库:https://github.com/lean-dojo/TorchLean… @Robertljg, Jennifer Cruden, Will Adkisson, Xiangru Zhong, @huan_zhang12 @caltech #MachineLearning #ScientificComputing #Lean #FormalVerification
TorchLean
来源:https://lean-dojo.github.io/TorchLean/ TorchLean 在 Lean 4 中对神经网络基础设施进行了形式化,连接了带类型的张量和层规约、可运行的训练示例、图中间表示语义、浮点契约、CUDA 信任边界以及可供 Lean 检查器审查的工件。
其目标是在现代机器学习工作流与形式化推理之间架设一座实用的桥梁:模型可以被执行、降阶、审查、从 PyTorch 风格的管线导入,并根据明确的数学契约进行检查。
TorchLean 为你提供什么
TorchLean 概览:带类型的张量、共享图中间表示、经验证的反向模式自动微分、IEEE-754 语义、证书检查、PyTorch 往返、CUDA 信任边界、逼近定理以及 Lean 验证。
它适合的位置
TorchLean 处于人们已经在使用的软件与他们希望信任的证明工件之间。该项目使用 Lean 4(https://lean-lang.org/)编写,并在能使模型代码更易读的地方采用 PyTorch 风格的接口。对于 Python 生态,请参阅官方 PyTorch 文档(https://pytorch.org/docs/stable/index.html);对于 Lean 本身,请从 Lean 文档(https://lean-lang.org/documentation/)开始。
论文 / 引用
@misc{george2026torchleanformalizingneuralnetworks,
title={TorchLean: Formalizing Neural Networks in Lean},
author={Robert Joseph George and Jennifer Cruden and Xiangru Zhong and Huan Zhang and Anima Anandkumar},
year={2026},
eprint={2602.22631},
archivePrefix={arXiv},
primaryClass={cs.MS},
url={https://arxiv.org/abs/2602.22631},
}
相似文章
@leloykun:[进行中] 关于 Lean4-to-TileLang 张量程序超级优化器的博文:
一篇技术博文介绍了一种 Lean4-to-TileLang 张量程序超级优化器,能自动生成优化的 GPU/TPU 内核与超参数缩放规律,展示了相较 torch.compile 的性能提升。
@AnimaAnandkumar: 很高兴分享我们团队在 @icmlconf 数学和物理研讨会上发表的四篇与Lean相关的论文!这些工作共同…
Anima Anandkumar 宣布其团队在 ICML 研讨会上发表了四篇与 Lean 相关的论文,涵盖验证机器学习系统、函数式程序合成、证明助手互操作性以及科学推理,将 Lean 定位为 AI 的基础设施。
@PyTorch: 通过将 PyTorch、vLLM、DeepSpeed、Ray、Helion 和 Safetensors 整合到一个中立的供应商管理框架下,……
PyTorch 基金会现已扩展,托管六个开源 AI 项目(PyTorch、vLLM、DeepSpeed、Ray、Helion 和 Safetensors),以在整个 AI 生命周期中提供中立的供应商治理,应对企业在推理、安全性和可扩展性方面的挑战。
Leanstral 1.5:为所有人提供丰富的证明
Mistral AI 发布 Leanstral 1.5,一个拥有 6B 激活参数的模型,用于 Lean 4 证明工程,在多个形式化验证基准测试中取得最先进成果,并发现了真实世界中的错误,完全开源,采用 Apache-2.0 许可。
@PyTorch: FBTriton 是 Meta 开发其实验性 GPU 优化解决方案(包括 TLX/torchTLX 和…)的 Triton 仓库
Meta 的 FBTriton 是 OpenAI Triton 编译器的一个下游分支,能够在上游保持同步的同时,快速开发 TLX 和 autoWS 等 GPU 优化。本文详细介绍了其持续的上游合并策略、分层 L1/L2/L3 验证框架,以及在平衡创新与生产稳定性方面的实际挑战。