我构建了一个编译器，可将计算图转换为标准Transformer的权重——无需任何训练 [P]

我一直在探索一个问题：Transformer真正能够表达的算法与它所能学习到的算法有何区别。因此，我构建了一个编译器：只需在普通Python中定义一个计算图，它就能生成执行该图的Transformer的权重。最终得到的检查点符合标准Phi-3架构，原生HuggingFace可直接加载，无需自定义代码也无需trust_remote_code。整个流程中零训练。详细说明（原理及构造方式）：https://ood.dev/posts/torchwright-intro/ 代码仓库（含12个可运行示例）：https://github.com/physicsrob/torchwright 手工构建Transformer权重并非新概念。RASP定义了一种语言，其基本原语映射到Transformer子层，而Tracr则将RASP程序编译为实际权重。我希望实现两个他们未涉及的目标：在普通Python中表达计算图，以及针对标准架构生成输出，使得输出可在原生HuggingFace中加载而无需自定义代码。