AMDKernelVault:面向AMD GPU内核优化的大规模数据集与智能代理训练
摘要
本文介绍AMDKernelVault,这是一个用于AMD GPU内核优化的开放数据集和训练框架,包含大规模HIP和Triton内核,以及用于生成和验证内核的代理驱动流水线。
arXiv:2609.12471v1 公告类型:新
摘要:我们介绍AMDKernelVault,一个用于最新AMD CDNA GPU的开放HIP和Triton内核语料库及训练框架。现有的基于LLM的内核代理大多以CUDA/NVIDIA为中心,通常依赖重复调用前沿LLM进行生成、反思和优化。为解决这一差距,我们开发了HIPKernelGen和TritonKernelGen,这些代理驱动流水线将PyTorch引用转换为HIP或Triton内核,在ROCm下编译和验证候选内核,并在AMD硬件上进行延迟分析。该语料库包含62,153个经执行验证的HIP内核样本、2,377个基于生产环境的ROCm库问答条目和39,893个Triton内核。我们进一步使用监督微调和执行感知强化学习训练Qwen3-8B,以演示该语料库的效用。在固定评估预算下,它在PyTorch-to-HIP(34.0% Pass@1)、TritonBench-G(33.2% Corr@3)和ROCmBench(41.94% Corr@3)上实现了比较模型中的最高正确性,但并未在编译或速度指标上全面领先。语料库和文档可在 https://huggingface.co/datasets/amd/AIG-Datasets 获取,相关的训练和内核生成代码可在 https://github.com/AMD-AGI/hip_kernel_llm_lab 获取。
查看缓存全文
缓存时间: 2026/09/14 08:36
# 面向AMD GPU内核优化的大规模数据集与智能体训练
来源:https://arxiv.org/html/2609.12471
Saptarshi Majumder、Yiqing Huang、Wenwen Ouyang、Umang Pandey、Zeping Li、Chushi Chen、Zihao An、Puyuan Yang、Zekai Li、Sina Rafati、Ziqiong Liu、Pratik Prabhanjan Brahma、Dong Li、Zicheng Liu、Sharon Zhou、Emad Barsoum
超威半导体公司
\*同等贡献†通讯作者:\{liuji,sapmajum,Cody\.Huang,viouyang\}@amd\.com
###### 摘要
我们推出AMDKernelVault——一个面向新一代AMD CDNA GPU的开源HIP与Triton内核语料库及训练框架。现有基于大语言模型的内核智能体主要围绕CUDA/NVIDIA生态,且常依赖前沿大语言模型反复调用来实现生成、反思与优化。为弥补这一差距,我们开发了HIPKernelGen与TritonKernelGen——这两套智能体驱动的流程能将PyTorch参考实现转化为HIP或Triton内核,在ROCm环境下编译并验证候选代码,并在AMD硬件上进行延迟分析。该语料库包含62,153个经执行验证的HIP内核样本、2,377个基于生产环境的ROCm库QA条目以及39,893个Triton内核。为验证语料库效用,我们采用监督微调与执行感知强化学习对Qwen3-8B模型进行训练。在固定评估预算下,该模型在PyTorch转HIP(34.0% Pass@1)、TritonBench-G(33.2% Corr@3)和ROCmBench(41.94% Corr@3)任务中取得最高正确率,但未全面领先编译或速度指标。语料库及文档可访问https://huggingface.co/datasets/amd/AIG-Datasets,相关训练与内核生成代码可访问https://github.com/AMD-AGI/hip_kernel_llm_lab。
## 1 引言
近期GPU内核优化的进展主要由基于大语言模型(Chen等,2025;Baronio等,2026)和智能体(Wang等,2025a;Dai等,2026)的方法驱动,同时辅以KernelBench等标准化基准测试(Ouyang等,2025;Lange等,2025b;Heakl等,2026)。这类智能体系统利用编译器反馈、运行时正确性检查和性能分析来迭代优化生成的内核(Wang等,2025a;Chen等,2025)。然而,这些系统背后的数据与工具仍主要围绕CUDA/NVIDIA生态。相比之下,AMD的HIP/ROCm生态系统(AMD Inc.,2025c;AMD Inc.,2025a)缺乏用于训练和评估内核大语言模型的大规模、经执行验证的内核数据,尤其在HIP与Triton后端并行发展的背景下。这一数据缺口并非简单的语法转换问题。尽管CUDA与HIP提供相似的编程抽象,但高性能AMD内核依赖于ROCm编译行为、波前执行、LDS使用、内存合并、矩阵核心支持以及Triton(Tillet等,2019)后端约束。通过hipify(AMD Inc.,2025b)直接转换虽能保留API结构,但可能遗留面向NVIDIA的分块常数、warp大小假设、输入特异性索引或内存布局,导致在AMD GPU上编译失败或性能不佳。因此,可靠的AMD内核数据需基于原生编译、执行验证与ROCm下的延迟测量。
我们提出**AMDKernelVault**——一个开源的、经执行验证的HIP与Triton内核语料库,以及可扩展的智能体驱动数据生成流程。我们的流程HIPKernelGen与TritonKernelGen以PyTorch参考实现为起点,采用“生成-评估-反思”循环来合成候选内核,在ROCm下编译,通过测试输入验证数值正确性,并在AMD硬件上分析延迟。该过程为新一代AMD CDNA GPU生成超过6.4万条经验证的HIP/ROCm数据及约4万条Triton内核,涵盖基准任务、合成算子负载以及源自rocBLAS和rocSOLVER的生产级监督数据。除发布数据外,我们进一步评估该语料库能否训练出紧凑的AMD内核大语言模型,以减少智能体优化系统对前沿大语言模型的依赖。现有内核智能体工作流常反复调用前沿模型进行生成、反思与优化,这增加了成本并限制了其在私有AMD环境中的部署。利用AMDKernelVault,我们对Qwen3-8B(Yang等,2025)进行监督微调与执行感知强化学习训练,随后将训练好的模型嵌入GEAK风格(Wang等,2025a)的智能体循环中,使单一本地策略同时承担生成器、反思器与优化器角色。该训练方案旨在验证语料库与流程的有效性,而非提出新的强化学习算法。在相同评估预算下,训练后的8B模型在PyTorch转HIP(34.0% Pass@1)和TritonBench-G(33.2% Corr@3)任务中取得最高正确率,且完全在AMD硬件本地运行。这些结果表明,经执行验证的AMD内核数据可支持为ROCm环境部署本地化内核大语言模型。我们的主要贡献在于资源及其AMD原生生成与验证基础设施;监督微调与强化学习方案是有效性验证而非新型学习算法。与前沿模型的比较仅针对报告的正确率指标、基准测试与智能体预算。
##### 我们的贡献:
- • **AMD原生内核语料库**:我们发布超过6.4万条HIP/ROCm数据及约4万条Triton数据,均通过ROCm编译、执行验证、延迟分析或生产级HIP代码监督验证,适用于新一代AMD CDNA GPU。
- • **可扩展数据生成流程**:HIPKernelGen与TritonKernelGen提供可复用的智能体驱动“生成-评估-反思”工作流,用于从PyTorch参考实现生成经验证的HIP与Triton内核数据,涵盖基准任务、合成数据及生产级来源。
- • **紧凑型AMD内核大语言模型**:为验证语料库效用,我们训练本地Qwen3-8B模型以承担GEAK风格循环中的生成、反思与优化角色,在相同评估预算下提升特定AMD HIP/Triton正确率指标。
## 2 相关工作
##### GPU内核优化。 GPU内核优化是高性能机器学习系统中的长期课题(Ragan-Kelley等,2013;Chen等,2018;Vasilache等,2018)。已有大量研究聚焦于算子融合、分块、内存层次优化及自定义内核设计。以FlashAttention(Dao等,2022;Shah等,2024)为代表的系统表明,精心设计的内核可为现代机器学习负载带来显著加速。近期,自动化框架通过程序分析、搜索与学习技术(Zheng等,2020)减少内核调优所需的人工投入。然而,这些方法大多在Nvidia GPU与CUDA后端上开发评估,AMD相关的内核优化研究相对较少。
**引用说明**
图1:统一内核生成框架。阶段1将PyTorch模块标准化为函数式参考实现。阶段2使用基于GEAK的智能体循环合成HIP与Triton内核,包含编译、正确性验证及延迟引导优化。
##### HIP、Triton与ROCm。 AMD的HIP在ROCm软件栈内提供类CUDA编程模型(AMD Inc.,2025c;AMD Inc.,2025a),而Triton提供基于Python的领域专用语言,可显式控制内存与并行性以编写自定义GPU内核(Tillet等,2019)。尽管这些抽象提升了可移植性,AMD的执行差异体现在ROCm编译器行为、波前级执行、LDS使用、内存合并及后端调度约束等方面。源到源工具如hipify虽可保留语法,但对正确性或性能可移植性的保证有限(AMD Inc.,2025b)。这促使我们采用原生HIP/ROCm验证,而非将AMD支持视为后期转换步骤。
##### GPU内核数据集与基准测试。 高质量数据集对推动内核优化研究至关重要。KernelBench(Ouyang等,2025)提供生成与评估优化内核的标准化环境,其他基准测试涵盖特定算子家族(Che等,2009)。但现有资源仍主要围绕CUDA。CASS(Heakl等,2026)支持CUDA到HIP转换,但未提供大规模PyTorch转HIP、HIP到HIP或AMD Triton数据。现有Triton基准测试也主要基于NVIDIA假设,可能无法泛化至ROCm。AMDKernelVault通过构建统一的HIP/Triton语料库来填补这一空白,该语料库在AMD GPU上经编译、执行验证及延迟分析验证。
##### 基于大语言模型的内核智能体。 近期研究探索基于大语言模型的智能体用于内核合成与优化(Chen等,2025;Baronio等,2026;Li等,2025b;Wang等,2025a)。Kevin(Baronio等,2026)展示CUDA内核的多轮强化学习,AutoTriton(Li等,2025b)与TritonRL(Woo等,2025)研究Triton生成的执行感知训练,GEAK(Wang等,2025a)提供Triton优化的智能体框架。AVO(Chen等,2026)进一步探索NVIDIA GPU上的长周期自主内核演化。AMDKernelVault与此互补:它专注于经执行验证的AMD HIP/ROCm/Triton数据与“生成-评估-反思”循环的紧凑本地策略。更多讨论见附录B。
## 3 基于智能体的数据集生成
我们提出统一框架,用于生成经执行验证的GPU内核,支持HIP与Triton,采用共享的“生成-评估-反思”范式(图1)。
### 3.1 统一流程架构
我们提出一个统一的、智能体驱动的框架,用于大规模GPU内核数据构建。该框架遵循共享的*生成-评估-反思*范式,实现基于标准化PyTorch参考实现的GPU内核系统化合成、验证与优化。在此统一设计中,我们实例化两个具体流程——HIPKernelGen与TritonKernelGen,分别将同一智能体驱动工作流专门应用于HIP与Triton生态系统。
##### 阶段1:PyTorch参考标准化。
针对每个目标算子或模块内核,我们从PyTorch模块输入构建函数式PyTorch参考实现。该表示确保可靠调用、一致的接口语义,并支持HIP与Triton后端的基于执行的验证。若可用,编译器生成的内核(如Torch Inductor Triton代码)用于交叉检查,但不替代基于参考实现的正确性验证。
##### 阶段2:后端特定内核合成。
给定标准化的PyTorch参考实现,后端特定智能体生成候选GPU内核。每个候选内核需经过编译、基于执行的正确性检查(对比PyTorch参考实现)与延迟分析。默认HIP检查器使用`torch.allclose`(rtol=1e-4, atol=1e-4, equal_nan=True)。对于Triton,任务特定容差可从参考任务配置;否则回退至rtol=1e-4, atol=1e-3, equal_nan=False。我们不采用固定的dtype或算子特定规则。失败将触发反思器引导的重新生成,直至满足正确性标准或达到尝试次数限制。
##### 测试用例构建与验证。
对于PyTorch→HIP与PyTorch→Triton,测试输入继承自CUDA-Agent-Ops-6K(Dai等,2026)、GPUMode(Paliskara与Saroufim,2025)与AI-CUDA-Engineer-Archive(Lange等,2025a)(若可用),并通过经验证的大语言模型生成案例增强,以覆盖额外形状、步长、dtype与边界条件。HIP内核(包括HIP→HIP优化目标)通过`torch.utils.cpp_extension`绑定,使生成的内核可在相同PyTorch参考测试下执行。对于Triton→Triton,我们扩展TritonBench风格测试以包含ROCm兼容用例,并丢弃仅通过输入特异性或形状特异性检查的候选内核。因此,大语言模型生成的测试本身不被接受为监督数据;它们仅作为基于执行的验证循环中的额外探测工具。
##### HIPKernelGen。
HIPKernelGen为面向AMD GPU的HIP内核实例化统一框架。大部分HIP语料库于2025年8月至12月使用GPT-5(采集期间的强可用内核生成模型)生成。每个候选内核通过hipcc编译,与PyTorch参考实现验证,并分析延迟与加速比。内核保留取决于ROCm执行结果而非生成器身份。
##### TritonKernelGen。
TritonKernelGen镜像HIP流程用于Triton内核。我们使用GPT-oss-120B(Agarwal等,2025)、DeepSeek-R1(Guo等,2025)和Qwen2.5-32B(Qwen等,2025)以多样化实现与推理路径。每个内核通过Triton 3.3.0编译执行,并在约十个正确性与三个性能配置上测试,涵盖形状、步长、FP32/FP16/BF16(如适用)与边界情况。
### 3.2 数据来源
我们的内核数据集构建于六个互补来源,涵盖合成CUDA智能体任务、GitHub衍生的PyTorch程序、精选Triton语料库、基准风格内核及生产级ROCm库。
#### 3.2.1 CUDA-Agent-Ops-6K数据集
CUDA-Agent-Ops-6K数据集(Dai等,相似文章
面向AMD GPU的更好HIP内核生成:合成数据、多智能体搜索与强化学习
探讨了合成数据生成、多智能体优化和强化学习,以提高语言模型为AMD GPU生成高性能HIP内核的能力,并在MI350X上展示了编译率和正确率的提升。
AgentKernelArena:兼顾泛化能力的GPU内核优化代理基准测试
AgentKernelArena是一个开源基准测试,用于评估AI编码代理在GPU内核优化方面的表现,涵盖完整的代理工作流程以及跨196个任务对未见配置的泛化能力。
KernelArc:一个用于GPU内核优化的多智能体框架
KernelArc是一个多智能体框架,使用策略专业化智能体来自主优化GPU内核以处理异构工作负载,并在NVIDIA GPU基准测试中取得顶级排名。
AdaExplore:基于失败驱动的自适应与多样性保留搜索的高效内核生成
来自卡内基梅隆大学、华盛顿大学和Arm的研究人员提出了AdaExplore,这是一种用于GPU内核代码生成的LLM智能体框架。该框架通过失败驱动自适应与多样性保留搜索技术,在不进行额外微调的情况下,在KernelBench Level-2和Level-3基准测试中分别实现了3.12倍和1.72倍的加速。
@levidiamode: GPU编程的第163/365天 - 今天看几个不同的agentic GPU内核优化系统。我最感兴趣的两个是…
一条推文讨论了两种agentic GPU内核优化系统:@dogacel0的Auto GPU Kernel和@songhan_mit实验室的Kernel Design Agents,两者均在MLSys Sparse Attention FlashInfer比赛中获胜。该帖子突出了使用子代理和Claude技能进行GPU编程的不同方法。