一个 AI 智能体在未查看源代码的情况下，在 B200 上的表现比 NVIDIA 的 FlashMLA 基准实现快了 9.8%。

Reddit r/LocalLLaMA 新闻
gpu-kernel-optimization ai-agents cuda open-source black-box-optimization nvidia-b200

摘要

OpenBMB 的 ForgeKernel 智能体历时 22 小时，以 NVIDIA 的 FlashMLA 黑盒基线为参照，自主优化了一个 GPU 内核，在 B200 上实现了 9.8% 的性能提升，并将开源 27 个优化后的算子及 ForgeKernel 框架。

OpenBMB 刚刚完成了 ForgeKernel Live，一次在 NVIDIA B200 上持续约 22 小时的自主 GPU 内核优化运行。有意思的不只是性能提升。这个智能体是在面对黑盒的情况下进行优化的。它可以执行官方 FlashMLA 实现并进行基准测试，但无法访问其源代码、文档或性能分析信息。本次运行的一些数据：自主优化 22 小时，在 42 轮迭代中生成了 32 个内核版本，不到 10 小时便首次超越基线（第 13 版）。最终结果：性能达到基线的 1.098 倍，耗时 472 微秒，而基线为 518 微秒——提速 9.8%。他们现在正将优化后的内核开源，同时开源的还有 27 个算子，涵盖注意力机制、Gated DeltaNet、Kimi Delta Attention、GEMM 和卷积。他们还发布了 ForgeKernel 测试框架，让其他人也能开展自己的内核优化实验。有意思的是，这标志着 AI 正从编写代码转向根据实际性能测量结果，迭代优化底层 GPU 代码。很好奇，随着这些智能体对 CUDA 和 GPU 架构的掌握不断加深，这种方法究竟能走多远。运行实况：https://openbmb.cn/forgekernel/ GitHub：https://github.com/OpenBMB/ForgeKernel
查看原文

相似文章

@HongyiJin258：AI 智能体正在成为 GPU 内核工程师。我们正在围绕它们重新思考编译器栈。认识一下 TIRx Harness：一个开……

X AI KOLs Timeline

MLC AI 发布 TIRx Harness，这是一个开源编译器框架，为 AI 智能体提供一个结构化环境，用于探索、调试和优化 GPU 内核。由智能体构建的 Kimi Delta Attention 内核，在前向传播上相比 FlashKDA 实现了 2.94 倍的几何平均加速，在反向传播上相比 FLA 实现了 6.84 倍的加速。

KForge：面向AI加速器的LLM驱动跨平台内核生成

arXiv cs.LG

KForge是一个跨平台框架，利用两个协作的基于LLM的智能体，自动生成和优化适用于多种AI加速器的高性能计算内核，在NVIDIA B200和Intel Arc B580硬件上实现了显著的加速效果。