operator-fusion

TrainBridge 是一个智能体框架，可将 GPU 编译优化指导迁移到昇腾 NPU 训练程序中。它从 GPU 执行过程中提取优化意图，并通过性能分析迭代改进 NPU 程序，在四种工作负载上实现了平均 1.7 倍的加速，并在 27 项 Modded-NanoGPT 竞速记录上实现了近 2.0 倍的加速。

作者解释了算子融合是torch.compile加速的关键机制，并提供了一个仅500行的Python最小实现及配套的笔记作为教学工具。

本文提出了一种针对Tenstorrent Tensix架构上大语言模型推理的算子融合策略，将RMSNorm与矩阵乘法融合，以提高数据局部性并减少DRAM访问。在Wormhole平台上，使用Qwen2.5-0.5B、Qwen3-0.6B和Qwen3-4B进行的实验显示，注意力模块延迟降低高达37.44%，MLP延迟降低15.89%。