kernel-optimization

一位用户对实时递归自我改进（RSI）应用于内核优化的现场演示发表评论，称赞其可衡量的性能提升，以及将自我改进循环直接展示在屏幕上的勇气。

OpenBMB 正在直播展示 ForgeKernel 的 RSI 实时内核优化过程，相关站点与直播链接已公开。

一篇关于利用 Agent 舰队优化 LLM 推理的技术分析，基于 DeepSeek 4.1 Flash 优化达到 2300 tok/s 的经验，指出大部分收益来自配置/计算图而非新 kernel，质疑 megakernel 方法，并强调在自动化优化运行中验证和收敛的重要性。

该论文提出 FlashNext-RL——一个针对 Qwen3.8-Flash-Next 的模型专用长时程智能体强化学习训练优化框架，基于 prime-rl 与 vLLM，在单个 8×B200 节点上将 BF16 全模型训练吞吐量从约 395 词元/秒/GPU 提升至 4,438 词元/秒/GPU（131K 词元上下文），并支持实时软件工程强化学习训练运行。

论文提出联合子空间稀疏注意力（JSSA），通过学习共享低维查询-键子空间并设计免gather的索引注意力核，在128K上下文下实现最高6.43倍解码吞吐提升，同时保持接近全KV的精度。

DuoDiscover 是一个自主发现搜索系统，通过让编码代理协同发现优化目标与快速代理评估器（yardstick），并用保真度测试防止代理指标漂移，来突破自主发现中的评估瓶颈。在 SWEfficiency、SOL-Exec、vLLM、SQLite 及 CPU 微架构优化等多个基准上取得显著成果，部分任务上超越 AlphaEvolve 系统与人类专家。

ROCmFPX 的融合 HC norm 内核通过在寄存器中直接写出 Q8_1 副本，省去了 MMQ 重复量化 335MB 数据的开销，在 2.3%–3.6% 的 pp8192 性能提升下保持位级一致。

ROCmFPX 的 gated delta net prefill 内核已优化为通过 RDNA3 WMMA 处理 16 个 token 的分块，而非逐个 token 处理，将每次 512-token 调用的延迟从 772µs 降至 610µs，各配置下 prompt 处理吞吐量提升约 2-4%，Strix Halo 的测试仍在进行中。

ROCmFPX 更新了融合 HC norm 的匹配器，使其能识别 qwen4exp 将 REPEAT/MUL/ADD 合并为单一 op 的组合，从而将 HC 内核每 2048 token 的耗时从 416 ms 降至 175 ms。相关修复还解决了导致 llama-perplexity 崩溃的 xn 别名问题，并在 BF16 拷贝路径上移除了变慢的 Q8_0 MMB down proj。

RunInfra 宣布 GLM 5.3 Flash 推出重大版本，采用重写的推理内核，在 FP8、厂商原生构建上可达 670 tok/s，现已同时支持 AMD 运行，定价具备竞争力，支持 100 万 token 上下文窗口。

本文介绍了如何在 Splash 中使用 'make tune-kernels' 工具来优化40核 M5 Max 芯片上的 AI 模型解码，通过为特定硬件调优内核布局，实现高达20%的速度提升。

一个智能代理CUDA内核优化器，通过迭代代码生成、正确性检查、基准测试和优化，自动化GPU实现生成，由LangGraph和OpenAI模型驱动。

这个Twitter线程介绍了Hugging Face的Kernels，这是一个工具，允许用户选择和替换AI模型中支持层的优化内核实现，而无需重写整个模型。

本文描述了针对 DeepSeek-V4.1-Flash AI 模型在 Metal 硬件上的一项优化，改进了注意力内核，使其仅启动必要的 tile 块，从而减少了计算浪费并提升了推理速度。

本文介绍了tritonBLAS，这是一种分析模型，用于优化GPU GEMM内核参数，无需运行时自动调优，实现近最优性能并显著减少编译时间。

本文介绍AMDKernelVault，这是一个用于AMD GPU内核优化的开放数据集和训练框架，包含大规模HIP和Triton内核，以及用于生成和验证内核的代理驱动流水线。

Google Accelerator Agents是一个GitHub仓库，包含AI驱动的工具，用于加速TPU上的机器学习开发，特色是使用Gemini的代理进行代码迁移和内核优化。

本文介绍了DataKernelBench，这是一个用于评估LLMs在优化GPU内核以处理数据库查询方面的基准测试，相比如torch.compile等基线方法实现了加速。

KernelArc是一个多智能体框架，使用策略专业化智能体来自主优化GPU内核以处理异构工作负载，并在NVIDIA GPU基准测试中取得顶级排名。

This paper presents CAKE, a compiler-agent co-design framework that lets AI agents author a hardware-explicit IR for GPU kernels, achieving significant speedups over baselines across various workload families.