@AnimaAnandkumar: TorchLean 代码库现已开放!TorchLean 是一个用于可验证神经网络软件的 Lean 4 框架。它支持……
摘要
TorchLean 是一款全新发布的 Lean 4 框架,可实现神经网络软件的形式化验证,具备类型化张量、可验证自动微分、PyTorch 互操作性及 GPU 执行等特性。此次发布进一步扩展了对扩散模型、GPT 风格 Transformer 和状态空间模型等现代架构的支持,将实际的机器学习工作流与数学证明检查紧密连接。
查看缓存全文
缓存时间: 2026/05/11 22:46
TorchLean 代码库现已开放!TorchLean 是一个用于验证神经网络软件的 Lean 4 框架。它支持带类型的张量、可运行的训练、图中间表示、经验证的反向模式自动微分、Float32/IEEE 语义、CROWN/IBP 风格的验证、证书检查、PyTorch 互操作以及 CUDA/GPU 执行。根据我们最初帖子收到的反馈与评论,我们大幅扩展了 TorchLean:神经算子/FNO、扩散模型、GPT 风格的文本模型、GPT-2 风格的运行、Mamba/状态空间模型、强化学习、3D 视觉证书、Bug Zoo 案例研究、PyTorch 互操作等等。项目页面:https://lean-dojo.github.io/TorchLean/ 代码库:https://github.com/lean-dojo/TorchLean… @Robertljg, Jennifer Cruden, Will Adkisson, Xiangru Zhong, @huan_zhang12 @caltech #MachineLearning #ScientificComputing #Lean #FormalVerification
TorchLean
来源:https://lean-dojo.github.io/TorchLean/ TorchLean 在 Lean 4 中对神经网络基础设施进行了形式化,连接了带类型的张量和层规约、可运行的训练示例、图中间表示语义、浮点契约、CUDA 信任边界以及可供 Lean 检查器审查的工件。
其目标是在现代机器学习工作流与形式化推理之间架设一座实用的桥梁:模型可以被执行、降阶、审查、从 PyTorch 风格的管线导入,并根据明确的数学契约进行检查。
TorchLean 为你提供什么
TorchLean 概览:带类型的张量、共享图中间表示、经验证的反向模式自动微分、IEEE-754 语义、证书检查、PyTorch 往返、CUDA 信任边界、逼近定理以及 Lean 验证。
它适合的位置
TorchLean 处于人们已经在使用的软件与他们希望信任的证明工件之间。该项目使用 Lean 4(https://lean-lang.org/)编写,并在能使模型代码更易读的地方采用 PyTorch 风格的接口。对于 Python 生态,请参阅官方 PyTorch 文档(https://pytorch.org/docs/stable/index.html);对于 Lean 本身,请从 Lean 文档(https://lean-lang.org/documentation/)开始。
论文 / 引用
@misc{george2026torchleanformalizingneuralnetworks,
title={TorchLean: Formalizing Neural Networks in Lean},
author={Robert Joseph George and Jennifer Cruden and Xiangru Zhong and Huan Zhang and Anima Anandkumar},
year={2026},
eprint={2602.22631},
archivePrefix={arXiv},
primaryClass={cs.MS},
url={https://arxiv.org/abs/2602.22631},
}
相似文章
@leloykun:[进行中] 关于 Lean4-to-TileLang 张量程序超级优化器的博文:
一篇技术博文介绍了一种 Lean4-to-TileLang 张量程序超级优化器,能自动生成优化的 GPU/TPU 内核与超参数缩放规律,展示了相较 torch.compile 的性能提升。
Lean 现已内置经验证的内核
Lean v4.35.0 现已内置多个经验证的内核,包括 con-leche(首个拥有形式化一致性证明、由 Claude 实现的 Lean 编写内核)及其 Rust 优化版本 con-ron,以及新增的 `lake check` 命令,用于在外部重新检查开发成果。此举源于 AI 发现的内核健全性漏洞,旨在消除实现层面的不健全性,同时不带来性能损失。
@PyTorch: 每个成熟的系统项目最终都需要一个教学版本。TinyTorch是一个免费、开源的课程,你可以…
TinyTorch是一个免费、开源的课程,允许用户使用PyTorch的API从零开始构建一个机器学习框架,涵盖从张量到Transformer的内容,专为教育目的设计,可在基本硬件上运行。
@AnimaAnandkumar: 很高兴分享我们团队在 @icmlconf 数学和物理研讨会上发表的四篇与Lean相关的论文!这些工作共同…
Anima Anandkumar 宣布其团队在 ICML 研讨会上发表了四篇与 Lean 相关的论文,涵盖验证机器学习系统、函数式程序合成、证明助手互操作性以及科学推理,将 Lean 定位为 AI 的基础设施。
TorchNeuron:在 AWS Trainium 上运行 HF 模型前所未有的简单
TorchNeuron 作为 PyTorch 的原生 Trainium 后端发布公测,Hugging Face 的 Transformers、Diffusers 等库可直接将其作为普通设备使用,显著提升了模型支持率并取代 Optimum Neuron 的复杂封装。