@AnimaAnandkumar: TorchLean 代码库现已开放!TorchLean 是一个用于可验证神经网络软件的 Lean 4 框架。它支持……
摘要
TorchLean 是一款全新发布的 Lean 4 框架,可实现神经网络软件的形式化验证,具备类型化张量、可验证自动微分、PyTorch 互操作性及 GPU 执行等特性。此次发布进一步扩展了对扩散模型、GPT 风格 Transformer 和状态空间模型等现代架构的支持,将实际的机器学习工作流与数学证明检查紧密连接。
查看缓存全文
缓存时间: 2026/05/11 22:46
TorchLean 代码库现已开放!TorchLean 是一个用于验证神经网络软件的 Lean 4 框架。它支持带类型的张量、可运行的训练、图中间表示、经验证的反向模式自动微分、Float32/IEEE 语义、CROWN/IBP 风格的验证、证书检查、PyTorch 互操作以及 CUDA/GPU 执行。根据我们最初帖子收到的反馈与评论,我们大幅扩展了 TorchLean:神经算子/FNO、扩散模型、GPT 风格的文本模型、GPT-2 风格的运行、Mamba/状态空间模型、强化学习、3D 视觉证书、Bug Zoo 案例研究、PyTorch 互操作等等。项目页面:https://lean-dojo.github.io/TorchLean/ 代码库:https://github.com/lean-dojo/TorchLean… @Robertljg, Jennifer Cruden, Will Adkisson, Xiangru Zhong, @huan_zhang12 @caltech #MachineLearning #ScientificComputing #Lean #FormalVerification
TorchLean
来源:https://lean-dojo.github.io/TorchLean/ TorchLean 在 Lean 4 中对神经网络基础设施进行了形式化,连接了带类型的张量和层规约、可运行的训练示例、图中间表示语义、浮点契约、CUDA 信任边界以及可供 Lean 检查器审查的工件。
其目标是在现代机器学习工作流与形式化推理之间架设一座实用的桥梁:模型可以被执行、降阶、审查、从 PyTorch 风格的管线导入,并根据明确的数学契约进行检查。
TorchLean 为你提供什么
TorchLean 概览:带类型的张量、共享图中间表示、经验证的反向模式自动微分、IEEE-754 语义、证书检查、PyTorch 往返、CUDA 信任边界、逼近定理以及 Lean 验证。
它适合的位置
TorchLean 处于人们已经在使用的软件与他们希望信任的证明工件之间。该项目使用 Lean 4(https://lean-lang.org/)编写,并在能使模型代码更易读的地方采用 PyTorch 风格的接口。对于 Python 生态,请参阅官方 PyTorch 文档(https://pytorch.org/docs/stable/index.html);对于 Lean 本身,请从 Lean 文档(https://lean-lang.org/documentation/)开始。
论文 / 引用
@misc{george2026torchleanformalizingneuralnetworks,
title={TorchLean: Formalizing Neural Networks in Lean},
author={Robert Joseph George and Jennifer Cruden and Xiangru Zhong and Huan Zhang and Anima Anandkumar},
year={2026},
eprint={2602.22631},
archivePrefix={arXiv},
primaryClass={cs.MS},
url={https://arxiv.org/abs/2602.22631},
}
相似文章
@leloykun:[进行中] 关于 Lean4-to-TileLang 张量程序超级优化器的博文:
一篇技术博文介绍了一种 Lean4-to-TileLang 张量程序超级优化器,能自动生成优化的 GPU/TPU 内核与超参数缩放规律,展示了相较 torch.compile 的性能提升。
@PyTorch: PyTorch 2.12 在编译、导出、分布式训练和加速器支持方面引入重大更新。亮点…
PyTorch 2.12 版本包括对编译、导出、分布式训练和加速器支持的重大更新,CUDA 上批量化 linalg.eigh 速度提升高达 100 倍,并新增了 torch.accelerator.Graph 等 API。
Lean4Agent: 代理工作流与轨迹的形式化建模与验证
介绍Lean4Agent,一个使用Lean4对代理工作流和轨迹进行形式化建模与验证的框架,展示了在SWE-Bench和ELAIP-Bench上的性能提升。
发现与证明:Lean 4中困难模式自动定理证明的开源智能体框架
本文介绍了 Discover and Prove (DAP),一个用于 Lean 4 自动定理证明的开源智能体框架,针对"困难模式"问题进行优化——即在构造形式化证明前必须独立发现答案。该工作发布了新的困难模式基准变体,达到最先进的结果,同时揭示了 LLM 答案准确率(>80%)与形式化证明器成功率(<10%)之间的巨大差距。
TorchKM:面向GPU的核学习与模型选择库
TorchKM是一个开源的GPU加速核机器库(支持向量机、核逻辑回归等),采用scikit-learn风格的API。通过重用矩阵运算加速训练和模型选择,相比标准基线实现了显著的加速比。