EdgeKernelBench:面向边缘后端的统一 LLM 驱动生成式内核框架

Hugging Face Daily Papers 论文

摘要

该论文提出了 EdgeKernelBench 和分层边缘内核智能体(LEKA),用于在异构边缘后端上对 LLM 生成的内核进行统一评估和分层优化。研究发现正确性(64.5% Correct@1)与性能(25.5% [email protected])之间存在较大差距,而 LEKA 的 [email protected] 达到 43.5%,远超直接生成方式的 13.0%。

近期研究表明,LLM 能够在服务器级 GPU 上生成性能强劲的内核。然而,边缘部署面临独特挑战:硬件高度异构、软件栈碎片化严重、资源预算极为有限。目前,针对多样化边缘后端的 LLM 内核生成尚未得到系统性研究。我们提出 EdgeKernelBench,它将统一的 IR 部署框架与面向边缘工作负载的分层基准相结合。统一的 IR 捕获可复用的计算、调度和内存决策,并通过编译器接口连接到各个目标后端。该基准覆盖逐级增大的程序范围——从单个算子到紧凑的模型图——并横跨具有代表性的边缘应用领域。我们以 TVM 作为参考编译器实现了该设计,并在异构边缘后端上进行了验证。在仅进行一次生成尝试的情况下,最佳模型达到 64.5% 的 Correct@1,但 [email protected] 仅为 25.5%。这一差距表明,功能上的正确性并不总能转化为性能提升。为此,我们提出分层边缘内核智能体(Layered Edge Kernel Agent,LEKA),通过分层 IR 来组织优化过程。在智能体评估子集上,LEKA 的 [email protected] 达到 43.5%,而直接生成为 13.0%,Claude Code 为 26.1%。LEKA 和 Claude Code 使用相同的基础模型与优化预算。总体而言,EdgeKernelBench 与 LEKA 共同支持在各类边缘后端上对 LLM 生成内核的统一评估与分层优化。
查看原文
查看缓存全文

缓存时间: 2026/10/21 07:02

论文页面 - EdgeKernelBench:面向边缘后端的统一 LLM 驱动内核生成

来源:https://huggingface.co/papers/2610.24648

摘要

EdgeKernelBench 和 LEKA 实现了对 LLM 生成内核在异构边缘后端上的统一评估与分层优化,揭示了正确性与性能之间的差距。

近期研究表明,LLM 能够在服务器级 GPU 上生成性能强劲的内核。然而,边缘部署面临着独特的挑战:硬件异构、软件栈碎片化、资源预算紧张。针对多样化边缘后端的 LLM 内核生成(https://huggingface.co/papers?q=LLM%20kernel%20generation)尚未得到系统性研究。我们提出了 EdgeKernelBench(https://huggingface.co/papers?q=EdgeKernelBench),它将统一 IR(https://huggingface.co/papers?q=unified%20IR)部署框架与面向边缘工作负载的分层基准测试相结合。统一 IR(https://huggingface.co/papers?q=unified%20IR)捕获可复用的计算、调度和内存决策,并通过编译器接口(https://huggingface.co/papers?q=compiler%20interface)连接到各个目标后端。该基准测试的程序范围逐级递增,从单个算子到紧凑的模型计算图,覆盖了具有代表性的边缘应用领域。我们以 TVM(https://huggingface.co/papers?q=TVM)作为参考编译器实现了该设计,并在多个异构边缘后端上进行了验证。在单次生成尝试下,最佳模型达到了 64.5% 的 Correct@1(https://huggingface.co/papers?q=Correct%401),但 [email protected](https://huggingface.co/papers?q=Fast%401.0)仅为 25.5%。这一差距表明,功能正确性并不能稳定地转化为性能提升。因此,我们提出了分层边缘内核智能体(Layered Edge Kernel Agent,即 LEKA(https://huggingface.co/papers?q=LEKA)),通过分层 IR 来组织优化过程。在智能体评估子集上,LEKA(https://huggingface.co/papers?q=LEKA)达到了 43.5% 的 [email protected](https://huggingface.co/papers?q=Fast%401.0),而直接生成为 13.0%,Claude Code 为 26.1%。LEKA(https://huggingface.co/papers?q=LEKA)与 Claude Code 使用相同的基座模型和优化预算。综上,EdgeKernelBench(https://huggingface.co/papers?q=EdgeKernelBench)和 LEKA(https://huggingface.co/papers?q=LEKA)共同支持对 LLM 生成内核在边缘后端上的统一评估与分层优化。

查看 arXiv 页面(https://arxiv.org/abs/2610.24648)查看 PDF(https://arxiv.org/pdf/2610.24648)项目页面(https://pillor9.github.io/EdgeKernelBench/)GitHub(https://github.com/pillor9/EdgeKernelBench)添加到收藏夹(https://huggingface.co/login?next=%2Fpapers%2F2610.24648)

在你的智能体中获取这篇论文:

hf papers read 2610.24648

还没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型:0

没有模型关联到本文。

在模型 README.md 中引用 arxiv.org/abs/2610.24648 即可从此页面链接。

引用本文的数据集:0

没有数据集关联到本文。

在数据集 README.md 中引用 arxiv.org/abs/2610.24648 即可从此页面链接。

引用本文的 Space:0

没有 Space 关联到本文。

在 Space README.md 中引用 arxiv.org/abs/2610.24648 即可从此页面链接。

包含本文的收藏夹:0

没有收藏夹包含本文。

将本文添加到收藏夹(https://huggingface.co/new-collection)即可从此页面链接。

相似文章

KernelBench-Verified:LLM生成的CUDA内核真的能击败PyTorch吗?

arXiv cs.LG

论文介绍了KernelBench-Verified,这是一个扩展的评估框架,用于LLM生成的CUDA内核,它包含了支持TF32的基线和隐藏测试套件。研究发现,像GPT-5.5这样的前沿模型经常进行奖励黑客行为,并且在真实条件下并不总能持续超越PyTorch,最佳模型仅达到0.88倍的几何平均加速比。

KForge:面向AI加速器的LLM驱动跨平台内核生成

arXiv cs.LG

KForge是一个跨平台框架,利用两个协作的基于LLM的智能体,自动生成和优化适用于多种AI加速器的高性能计算内核,在NVIDIA B200和Intel Arc B580硬件上实现了显著的加速效果。