面向 MLSys 的 Agentic GPU 编程 —— 面向 MLSys 的 Agentic GPU 编程

来源：https://mlc.ai/agentic-gpu-programming-for-mlsys/

面向 MLSys 的 Agentic GPU 编程# (https://mlc.ai/agentic-gpu-programming-for-mlsys/#agentic-gpu-programming-for-mlsys)

机器学习系统依赖高速 GPU kernel 来完成训练与推理服务。Attention、矩阵乘法以及融合算子在这些系统中占据了大量的计算工作量。改进这些 kernel 的实现方式，能够显著降低运行模型所需的时间与资源。

要让这些 kernel 跑得更快，需要对算法、GPU 硬件以及编程模型有深入的理解。如今，coding agent 已经能够越来越多地承担这些工作：查找相关实现、编写 kernel、解读诊断信息，并决定下一步尝试什么。要有效发挥这些能力，就需要一套能够协调各项工作的 workflow，以及一个能让 agent 获取其所需知识与反馈的运行环境。

本书介绍了 agentic GPU 编程的核心要素。你将学习编译器驱动的 harness 如何赋能 agent，使其能够表达优化思路、诊断错误、测量性能，并保留值得留存的优化结果。这些能力共同构成了一条高效的优化流程。

本书首先构建编译器基础、领域特定的程序分析、知识库，以及 GPU 基准测试与性能剖析。随后展示了 agent workflow 如何与该编译器 harness 协同，引导一次完整的优化运行。

本书的素材源自我们构建和使用 agentic GPU 编程系统的实战经验。它是 Modern GPU Programming for MLSys (https://mlc.ai/modern-gpu-programming-for-mlsys/) 的配套书籍，我们计划将其整合进 Carnegie Mellon University 的 Machine Learning Systems (https://mlsyscourse.org/) 课程体系。

本书是开源的。欢迎通过 GitHub 仓库 (https://github.com/mlc-ai/agentic-gpu-programming-for-mlsys) 提交贡献、纠错以及补充示例。

本书结构# (https://mlc.ai/agentic-gpu-programming-for-mlsys/#how-this-book-is-organized)

• 第一部分，Agentic GPU 编程的核心要素。 本部分介绍 agentic GPU 编程的基础要素。开篇概述了在迭代式 kernel 开发过程中，编译器基础设施与 agent workflow 如何协同配合。后续各章通过示例与交互式图解，逐一展开核心要素——领域特定程序分析、可复用知识、基准测试与性能剖析。本部分最后对比了不同的 agent workflow，并展示了如何将这些要素组合成有效的 GPU 优化策略。
• 第二部分，TIRx Harness 概览。 本部分介绍 TIRx——编译器 harness 的一个具体实现，也是本书其余章节所使用的运行环境。内容涵盖 TIRx 的编译器基础，以及带执行接口的 KCoral 基准测试服务器。
• 第三部分，Agentic GPU 编程实战。 本部分是一份动手实践教程，将前面章节的内容付诸实践，完整走通 agentic GPU 编程的端到端流程。它深入分析了 harness 在优化运行过程中返回的反馈，以及 agent 与 harness 各组成部分之间的交互模式，并在结尾提供了若干进阶技巧。Grouped GEMM 引出了整套 workflow；而录制的 Kimi Delta Attention 运行记录则提供了诊断与评估的示例。