LLM4LLM：通过闭环智能体优化桥接内核基准测试与实际部署

# LLM4LLM：通过闭环智能体优化弥合内核基准测试与实际部署的差距
来源：https://arxiv.org/html/2608.21836  
Pengfei Yang  
单位：中国河北省石家庄市高级通信网络国家重点实验室  
单位：通讯作者：[[email protected]](mailto:[email protected])，[[email protected]](mailto:[email protected])  
Yanxin Chen  
Fusong Ju  
Xinran Wei  
单位：西安电子科技大学，中关村学院，中关村人工智能研究院  
单位：通讯作者：[[email protected]](mailto:[email protected])，[[email protected]](mailto:[email protected])

###### 摘要
大型语言模型已成为底层代码和内核优化日益强大的智能体，但孤立的内核基准测试仅能作为语言模型推理中实际部署行为的代理指标。我们识别出“基准测试到部署的差距”：在独立测试框架中表现正确且快速的候选内核，在集成到实际推理工作负载后，可能表现出不同的性能、安全性或阶段行为。我们引入了LLM4LLM，一个具备部署感知能力的闭环优化框架。该框架从目标推理脚本出发，提取阶段感知的优化任务，利用经验引导的片段式智能体进行搜索，并通过模型内验证接受补丁。在A100和H100 GPU上针对十种语言模型推理工作负载的评估表明，LLM4LLM提升了每个评估模型的端到端延迟，在A100/H100上分别实现了3.91倍/6.98倍的几何平均加速；作为内核级别的支持证据，它在KernelBench第二级别上也达到了最高2.745倍的几何平均加速。

## 1 引言
LLM驱动代码生成的最新进展使得自动化内核和程序优化成为性能工程的一个可行方向。代码专用模型支持合成、填充和编辑[6 (https://arxiv.org/html/2608.21836#bib.bib1);39 (https://arxiv.org/html/2608.21836#bib.bib35)]。竞赛编程和执行反馈系统将此能力扩展到搜索引导的生成[28 (https://arxiv.org/html/2608.21836#bib.bib37);26 (https://arxiv.org/html/2608.21836#bib.bib38)]。迭代智能体通过反馈和调试轨迹改进程序[30 (https://arxiv.org/html/2608.21836#bib.bib4);9 (https://arxiv.org/html/2608.21836#bib.bib39)]。最近的内核基准测试进一步表明，LLM能够生成底层的GPU程序[31 (https://arxiv.org/html/2608.21836#bib.bib3)]。

然而，大多数现有评估都集中于孤立的内核或提取的程序测试框架：一个候选被编译，在合成输入上执行，与参考实现进行核对，并按独立延迟进行排名。对于语言模型推理而言，这只衡量了中间信号。部署目标是修补后的模型在目标工作负载下的行为，包括阶段语义、缓存状态、调度开销、内存驻留和端到端延迟。

我们研究了基准测试级优化与模型级部署之间的不匹配。自回归推理清晰地暴露了这种不匹配：预填充和解码具有不同的形状、缓存状态、内存访问模式和延迟敏感性；针对一个阶段优化的候选可能不均匀地转移到另一个阶段。集成也可能通过形状守卫、调度逻辑、分配器状态以及与现有高性能内核的交互来改变执行环境。我们将这种预测不匹配称为“基准测试到部署的差距”。

这种差距表现为加速比反转、部署时运行时失败，以及在孤立验证中缺失的特定阶段行为。

LLM4LLM<sup>1</sup>（代码可在 https://github.com/hzeng2000/LLM4LLM 获取）通过将部署上下文纳入优化循环来解决这一差距。该系统从用户提供的推理脚本开始，分析实际工作负载并在可部署模块边界处提取优化任务。它为预填充和解码构建阶段感知的任务，通过经验引导的片段式优化搜索候选方案，并仅在模型内验证后接受补丁。片段式智能体将早期尝试中有用的经验压缩为简洁的约束条件，使搜索能够重用成功模式，同时丢弃过时的上下文。由此产生的循环将分析、生成、验证、接受和部署连接成一个单一的优化过程。

我们的贡献在于：
- • 通过故障模式分类，我们刻画了基于LLM的内核优化的“基准测试到部署的差距”，展示了孤立验证如何偏离部署时的接受标准。
- • 我们引入了LLM4LLM，一个闭环智能体优化框架，它结合了真实模型分析、阶段感知任务表述、经验引导的片段式搜索和模型内接受机制。
- • 我们在真实推理工作负载和KernelBench第二级别上评估了LLM4LLM，展示了在Transformer、状态空间和循环语言模型系列上的端到端增益，在A100/H100上实现了3.91倍/6.98倍的几何平均加速，在KernelBench第二级别上实现了2.745倍/2.628倍的几何平均内核加速。

图1：优化后的ResNetConvLayer在孤立和部署场景下的结果分歧。左图对比了同一候选内核在独立冷缓存基准测试与模型内热上下文执行中的差异。右图报告了来自独立内核测试、在模型上下文中测量的相同内核以及由此产生的全模型端到端执行的加速比。

## 2 基准测试到部署的差距
### 2.1 动机性证据
我们从一个代表性的案例开始，该案例隔离了执行上下文的影响，如图1 [https://arxiv.org/html/2608.21836#S1.F1] 所示。一个从标准视觉骨干网络中提取的卷积层由基于LLM的智能体进行优化，并在两种设置下进行评估。在孤立设置中，候选作为独立模块被编译，在新分配的随机输入上调用，并独立计时。在部署设置中，相同的候选被修补到完整模型中，并在目标推理工作负载下进行评估。孤立基准测试报告了显著的加速，而集成后的模型端到端执行却变慢了。

其机制在于内存驻留。在独立基准测试中，算子需要承担从内存加载冷输入的成本。在模型内部，相同的算子消耗的是紧接的前一层产生的激活值，因此基线受益于热缓存执行和生产者-消费者局部性。一种能改善独立冷缓存计时的内存访问模式，一旦周围模型提供了不同的缓存状态和调度上下文，就可能失去其优势。此案例表明，代理测量如何在部署前错误地排序候选方案。

同样的差距也以特定于可部署性和自回归推理的形式出现。首先，一个候选可能在孤立验证中通过正确性测试，但携带有潜在的内存安全错误。独立的张量通常被分配在相邻的映射内存中，因此越界读取可能返回一个值而不会出错。完整模型的分配器状态可能将相同的访问置于故障区域，产生部署时的CUDA错误。其次，阶段特化可能使内核级的增益仅局限于生成过程的某个部分。例如，一个优化了预填充阶段注意力的候选，可能在查询长度 `q_len > 1` 时适用，而解码注意力则在查询长度 `q_len = 1` 且KV缓存已填充的情况下运行。因此，在解码阶段，预填充快速路径可能回退，或不再带来收益。

图2：基准测试到部署差距的特定部署表现。左图展示了潜在的越界访问如何在新的分配器状态下通过孤立验证，但在集成到完整模型运行时后失败。右图表明，专为预填充优化的注意力候选可能不适用于解码注意力，因此内核级的增益不一定能跨生成阶段转移。

这些案例确立了三个部署关注点：性能转移、运行时有效性和阶段正确行为。它们也促使我们区分孤立验证和部署时接受，如图2 [https://arxiv.org/html/2608.21836#S2.F2] 所示。

### 2.2 表述与影响
我们区分四个评估阶段：
- *孤立验证*：在独立测试框架中检查数值正确性和延迟。
- *搜索时验证*：通过添加真实输入、运行时安全门或上下文内计时来加强代理指标。
- *部署时接受*：在候选插入目标模型实例后对其进行评估。
- *最终端到端评估*：在完整工作负载下测量修补后的模型。

基准测试到部署的差距就是孤立验证与部署时接受之间的不匹配。执行上下文、阶段行为和集成约束都促成了这种不匹配。孤立基准测试仍然有价值，因为它们允许快速的候选生成和筛选，而部署时接受决定了候选是否能改善目标模型。这就产生了一个方法论要求：候选生成、验证和补丁接受必须围绕真实工作负载形成一个闭环。

## 3 方法
图3 [https://arxiv.org/html/2608.21836#S3.F3] 总结了LLM4LLM优化循环。从目标推理脚本开始，系统分析实际工作负载，提取阶段感知的优化任务，通过经验引导的智能体进行搜索，并通过模型集成验证接受补丁。我们用 M 表示目标模型实例，用 W 表示由推理脚本引发的部署工作负载，用 P 表示自回归阶段的集合。这里 M 是具体的模型实例，而 W 和 P 是结构化的集合。对于模块实例 m 和阶段 p∈P，分析记录模块时间 t(m,p) 和总阶段延迟 T(p)。LLM4LLM 使用工作负载加权的热点分数来选择可部署的优化单元：

s(m) = ∑_{p∈P} ω_p * t(m,p) / T(p)  (1)

其中 ω_p 由测量到的阶段频率或评估工作负载决定。该分数用于任务提取，而最终接受在目标模型内部做出。接下来我们详细说明此循环的三个阶段：阶段感知任务提取、经验引导搜索和部署时接受。

### 3.1 热点发现与阶段感知提取
LLM4LLM 从用户提供的推理脚本开始。该脚本定义了工作负载、输入范围、运行时路径和性能目标。系统对执行过程进行分层分析，并选择那些替换后可能影响端到端延迟的语义模块实例。一个模块被认为是可部署的，当它具有稳定的调用边界、可重现的输入输出张量，并且在未优化领域有回退实现。对于每个选定的模块，LLM4LLM 序列化一个优化任务，包含代表性输入、输出参考、形状信息、模块族元数据、硬件范围和阶段标签。对于自回归推理，当预填充和解码的执行语义不同时，它们被表示为单独的任务。当两个阶段都被优化时，提取还会记录一个调度模板，以便后续将阶段特化的候选重新组合成一个修补模块。该任务保留了影响有效性的部署事实，包括张量布局、缓存状态、阶段谓词和观察到的形状范围。

图3：LLM4LLM概览。该框架从目标推理脚本开始，通过真实模型分析识别可部署的热点，构建阶段感知的任务，利用经验引导的智能体优化搜索候选内核，并仅在模型内正确性和延迟验证后才接受补丁。验证反馈返回给搜索循环，而接受的补丁则产生优化的部署。

### 3.2 经验引导的片段式优化
优化器通过重复的生成-验证-决策片段进行搜索。在一个片段内，智能体提出候选内核，编译它们，运行正确性检查，测量延迟，并检查失败情况。因此，每个片段都产生一个具体的验证轨迹：候选代码、编译器诊断、数值错误、运行时故障和延迟测量。LLM4LLM 使用此轨迹来判断当前搜索上下文是否仍然有效，或者是否已收敛到针对狭窄故障模式的局部修复。

对于任务 τ 上的候选 c，搜索时验证分配效用 u(c, τ) = t_ref(τ) / t_c(τ) * 1{err(c, τ) ≤ ε, safe(c, τ)} (2)，其中 t_ref 是参考任务延迟，t_c 是候选延迟，1{·} 是指示函数，err 是与记录输出相比的数值误差，safe 表示编译和运行时安全检查。此效用在提取的任务内对有前景的候选进行排序；部署时接受仍是最终决定。

在片段边界，系统将验证轨迹提炼为紧凑的经验。提炼的记录包含持久约束和搜索证据，包括有效的分块选择、边界掩码要求、阶段谓词、数值约束、故障签名以及观察到的最佳性能范围。下一个片段使用原始任务规范和此经验记录进行初始化；完整的逐轮转录被存档。片段 r 的总结是一个有界记录 E_r，它存储接受的约束、拒绝的故障模式以及目前观察到的最佳候选族。从任务加上 E_r 重新开始，保留了有用证据，同时减少了长局部修复轨迹的影响。

图4：经验引导的片段式优化。候选生成和验证构成一个有界的片段。在片段边界，LLM4LLM将有用的验证证据总结为紧凑的经验，归档临时的修复历史，并从任务规范加上提炼的记录重新开始搜索。

图4 [https://arxiv.org/html/2608.21836#S3.F4] 在一个代表性的优化片段上阐释了此机制。此设计将验证反馈视为可重用的优化证据。片段级内存捕获特定任务的经验，而族级内存捕获可转移到相关模块、形状分桶和硬件目标的模式。搜索过程根植于观察到的验证约束，同时允许后续片段探索超越早期局部编辑的实现结构。

### 3.3 部署时接受与补丁
搜索产生合格的候选；部署时接受决定哪些候选进入模型。LLM4LLM 根据模块兼容性、形状覆盖、阶段兼容性和预测影响对候选进行排名。每个候选被插入目标模型实例，并对其在上下文中的正确性和延迟进行评估。接受的候选成为补丁；被拒绝的候选为后续搜索提供反馈。令 ℓ(c) = L(M[c], W) / L(M, W) 为归一化部署