Kuma：将PyTorch模型编译为自包含的WebGPU可执行文件 [P]

我一直在尝试一个编译器/运行时项目，但我不太确定这个主意是否可行，所以希望得到一些在部署系统方面有经验的人的反馈。这个想法是将导出的PyTorch模型编译成一个自包含的包，其中包含：图二进制权重、后端核（目前是WGSL）、运行时元数据。一个轻量级运行时加载该包并直接在浏览器中通过WebGPU执行。无需Python，无需服务器推理，也不依赖重型运行时。目前附带的演示只是神经视频表示，因为很容易测试，但实际动机是算子网络和科学机器学习，我喜欢分发单一可移植工件（artifact）的想法。仓库在这里：https://github.com/Slater-Victoroff/Kuma 我主要想寻求架构上的反馈。我正在纠结的一些问题：将后端核嵌入到工件中是否是个糟糕的主意？这解决了实际的部署问题还是只是在重造ONNX Runtime？是否有现成的系统采用了类似的方法值得我研究？如果今天让你设计一个部署格式，你会做哪些改变？我特别希望得到那些从事过ONNX、IREE、TVM、ExecuTorch、MLIR或类似编译器/运行时项目的朋友们的想法。