npu-optimization

TrainBridge 是一个智能体框架，可将 GPU 编译优化指导迁移到昇腾 NPU 训练程序中。它从 GPU 执行过程中提取优化意图，并通过性能分析迭代改进 NPU 程序，在四种工作负载上实现了平均 1.7 倍的加速，并在 27 项 Modded-NanoGPT 竞速记录上实现了近 2.0 倍的加速。

逆向工程了 Axera AX8850 NPU 的 int8 权重格式，以在 llama.cpp 中实现直接 GGUF 推理，在 Raspberry Pi 5 上实现了高达 24.5 t/s 的解码和 716 t/s 的预填充，性能比厂商的运行时高出 1.5 倍。