论文页面 - 测量检测器：面向GPU内核基准测试预言机的变异分析

来源: https://huggingface.co/papers/2609.22220

摘要

针对LLM生成的GPU内核的基准测试，目前通过少量随机输入和宽松的浮点容差来判定正确性，其判定结果现已直接影响排行榜和强化学习奖励机制。近期研究共识认为这些检测器存在缺陷，并通过人工补丁进行修复——增加输入分布、模糊化测试方案、收紧容差——但目前缺乏衡量这些补丁是否足够有效的方法。我们将变异分析作为内核基准测试预言机的充分性度量引入：确定性规则向188个KernelBench问题中已验证的CUDA实现注入10,303个可编译故障，其中7,384个具有独立的“杀死“证据；任何测试协议的得分都取决于其检测到的故障比例。官方检测器会遗漏约六分之一有证据支持的故障（16.9%），这种遗漏呈现家族性偏差：仅8.7%的算术故障被遗漏，但精度故障的遗漏率高达78.6%。该度量指标解释了这一现象的原因（容差盲区随规约尺寸增长；合法浮点方差设定了输入激进程度的实测上限），审计了现有最强补丁（KernelBench-Verified的性能提升中，+4.0分来自隐式输入，+4.5分来自收紧容差——这个分割比例连其原作者都无法计算），并揭示了某个已发表的模糊化方案会错误拒绝107次正确的内核。通过针对“杀死矩阵“优化测试套件，仅需每个问题两个输入即可达到98.0%的检测率（在保留数据集上为94.8%），而该度量提供的故障分类法比原始故障本身更能指导测试生成器。在48种完整架构上，盲区随规模扩大而加剧，集中出现在深层同质化流水线中；且有两个问题被证明无法仲裁：它们的官方参考实现在fp64精度下违反了基准测试自身的容差标准。我们将所有内容发布于 https://huggingface.co/datasets/Elfsong/KernelBench-M

查看arXiv页面 (https://arxiv.org/abs/2609.22220) 查看PDF (https://arxiv.org/pdf/2609.22220) 添加至收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.22220)

通过代理获取本文：
hf papers read 2609.22220
尚未安装最新CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型

无

在模型README.md中引用 arxiv.org/abs/2609.22220 以从此页面关联。

引用本文的数据集

无

在数据集README.md中引用 arxiv.org/abs/2609.22220 以从此页面关联。

引用本文的Space

无

在Space README.md中引用 arxiv.org/abs/2609.22220 以从此页面关联。

包含本文的合集

无

将本文添加至合集 (https://huggingface.co/new-collection) 以从此页面关联。