@jiayq：一篇手工撰写的利用 Agent 舰队优化 LLM 推理的分析。最近关于这个话题有很多新闻——……

X AI KOLs Timeline 新闻
llm-inference kernel-optimization agent-fleets gpu-performance deepseek automated-optimization

摘要

一篇关于利用 Agent 舰队优化 LLM 推理的技术分析，基于 DeepSeek 4.1 Flash 优化达到 2300 tok/s 的经验，指出大部分收益来自配置/计算图而非新 kernel，质疑 megakernel 方法，并强调在自动化优化运行中验证和收敛的重要性。

一篇手工撰写的利用 Agent 舰队优化 LLM 推理的分析。最近关于这个话题有很多新闻——但其中不少内容比较模糊，所以我觉得有必要写一篇更技术性的文章。 先说明一下为什么这个结论可能有可信度：我得出的结论基于我们自己对 DeepSeek 4.1 Flash 的优化，单步时间达到 2.41 ms，生成速度最高可达 2300 tok/s（配合 Dspark），在 agent 任务中稳定在约 1800 tok/s。Agents 运行了约 230 个优化提案，其中 94 个被验证是有效的。 以下是我从这些运行中得到的一些个人看法： 1. **"kernel 优化"之外还有很多收益。** 超过 50% 的优化在没有引入新 kernel 的情况下就上线了，它们依靠的是配置、计算图、启动顺序等策略。Kernel 是一条已经被充分探索的路径，但端到端系统的其他部分还有很大的优化空间。 2. **Megakernel 可能是个伪命题。** 在规模足够大的模型上，megakernel 试图一口吃下太多东西。我们的大多数实验表明，将小算子拼接到现有 kernel 中，或将多个小 kernel 融合成一个中等大小的 kernel，能获得最大的收益。不过这可能只适用于底层驱动已经高度优化的 NVIDIA GPU，@vllm 最近就在 TPU 上展示了 megakernel 的良好效果。 3. **KernelBench 和真实服务是两个不同的问题。** 很多 kernel 在隔离测试中表现正向，但放到端到端环境中反而变成了负优化。我一直希望能有一个像 Accel-Sim 那样好的仿真工具，但目前的仿真在建模同时受计算和内存约束的复杂延迟模式时，精度还不够好。 4. **如果你不想一直守在电脑前，验证就变得*极其*重要。** 如果你能定义"什么是正确的"，比如数值测试、端到端质量评估，那么 agent 就可以长时间自主运行。在整个运行过程中我们没有做任何干预，除了 (a) 增加 GPU 机器，(b) 确保不触达 token 上限，以及 (c) 提高信用卡消费限额。 5. **别担心，它会收敛的** ——我认为社区已经达成共识：一旦你设定好目标，agent 最终会收敛。但收敛速度是关键，而且上面的 4(c) 是非常现实的问题。 6. **在低并发设置下，底层汇编层面的编写（比如 SASS 修改）效果较小，** 主要是因为等待内存（以及缓存？）成为了主要瓶颈。 7. **热点路径基本已经解决了，** 虽然还有很多可探索的空间。我认为未来几个月最大的收益将来自优化更广泛的分布式服务栈，而不仅仅是单个服务引擎本身。这可能需要大量系统工程和 SRE 经验：构建完善的遥测系统、在不干扰生产流量的情况下做好 A/B 测试，有点类似传统推荐系统所做的那些工作。 8. **让 agent 做端到端优化是一种必然。** 在我们的案例中，agent 一丝不苟地跑完了 230 个实验，每个实验如果由人来做可能需要一周时间（或者至少借助手动实验加上 Claude Code 也要几天）。这种数量和速度确实让我们能够探索所有可能的优化，否则受限于人力根本无法做到。 我最后一点想法可能有些矛盾：到目前为止，agent 看起来是"优秀的工程师"，这里的"优秀"是指它们能够大规模地执行已知的优化经验。在某种意义上，它们是在对我们已有知识进行"插值"，只是速度快得多。我还没有看到 agent 设计出像 PagedAttention 或 Winograd 那样出色的算法。但谁知道呢，从我们现有的知识库中进行"外推"，在未来几个月内很可能就成为现实。 最后感慨一下，我真的很喜欢用键盘打字，尽管写出来的东西可能比训练有素的 AI 写手差得多。
查看原文
查看缓存全文

缓存时间: 2026/10/28 17:41

这是一篇手写的分析文章，探讨如何优化 LLM 推理（尤其是面向 Agent 集群的场景）。最近相关话题的新闻很多，但大多比较笼统，所以我觉得有必要写一篇更偏技术性的文章。

先说明一下本文结论的可信度来源：这些结论来自我们自己对 DeepSeek 4.1 Flash 的优化实践——我们实现了每步 2.41 ms 的耗时，生成速度最高可达 2300 tok/s（搭配 Dspark），在 Agent 任务中稳定在约 1800 tok/s。Agent 在此过程中运行了约 230 个优化方案，其中 94 个经验证确实有效。

以下是我从这些实践中得到的一些心得：

  1. “Kernel 优化“之外还有大量收益空间。 超过 50% 的优化并未引入新 Kernel，而是通过调优配置、调整计算图、改变启动顺序等策略实现的。Kernel 优化虽然是条已被充分探索的道路，但端到端系统中其他环节仍有大量潜力可挖。

  2. MegaKernel 可能是个“骗局“。 对于规模足够大的模型来说，MegaKernel 试图一口吞下太多东西。我们的大多数实验表明，把小算子粘合到现有 Kernel 中，或将多个小 Kernel 融合成一个中等规模的 Kernel，才是收益最大的做法。当然，这可能只适用于 NVIDIA GPU，因为其底层驱动已经高度优化——正如 @vllm 最近展示的，他们在 TPU 上用 MegaKernel 也取得了不错的效果。

  3. KernelBench 和真实服务是两回事。 很多 Kernel 在孤立测试中表现正向，但放入端到端场景中组合使用后反而产生了负面影响。我一直期待能有一个像 Accel-Sim 那样好的模拟器，但到目前为止，模拟器在建模同时受计算和内存约束的复杂延迟模式时，精度还不够。

  4. 如果你不想一直坐在电脑前盯着，验证就变得极其重要。 如果你能定义清楚“什么是正确的“，比如数值正确性测试、端到端质量评估等，Agent 就可以长时间自主运行。在整个运行过程中我们几乎没有人工干预，只做了三件事：(a) 增加 GPU 机器，(b) 确保 Token 限制不会被触发，(c) 提高信用卡消费限额。

  5. 别担心，它会收敛的 ——我认为社区已经达成共识：只要设定好目标，Agent 最终会收敛到可行方案。但收敛速度是关键，而上面提到的 4(c) 是非常现实的问题。

  6. 在低并发场景下，底层汇编层面的操作（比如修改 SASS 指令）效果有限，主要原因是此时等待内存（以及缓存？）已成为主要瓶颈。

  7. 热点路径基本已经解决了，虽然还有更多可以探索的空间。我认为未来几个月最大的收益将来自优化更广泛的分布式服务栈，而不仅仅是单个推理引擎本身。这可能需要大量系统工程和 SRE 方面的经验：搭建完善的遥测系统、在不干扰生产流量的前提下做好 A/B 测试——很像推荐系统领域的老做法。

  8. Agent 做端到端优化是必然趋势。 在我们的案例中，Agent 一丝不苟地完成了 230 个实验，每个实验如果由人类来完成，可能需要一周时间（至少也要几天——手动实验加上 Claude Code）。这种巨大的实验量和速度，让我们能够探索以前因人力不足而无法实现的所有优化可能性。

最后我想说的观点可能有些矛盾：到目前为止，Agent 看起来更像是“优秀的工程师“——它们能大规模地执行已知的优化思路。某种意义上，它们只是在对已知知识进行“插值“，只是速度快得多。我还没有看到 Agent 能够设计出像 PagedAttention 或 Winograd 那样出色的算法。但谁知道呢，也许在未来几个月内，基于现有知识库进行“外推“式创新完全有可能实现。

最后的最后，我喜欢在键盘上打字的感觉，尽管这看起来可能比经过良好训练的 AI 写手写出来的文章要差得多。

相似文章

@jiayq：智能体循环就像随机梯度下降，只是没有梯度。DeepSeek 的优化一夜之间给我们带来了 2.32……

X AI KOLs Timeline

一位研究人员分享称，智能体循环的行为类似于没有梯度的随机梯度下降，并报告说，经过一夜的 DeepSeek 优化，每步耗时降至 2.32 毫秒，突破了他们估计的 2.5 毫秒下限。他们还观察到，收益逐渐递减，实验接受率稳定在约 46%，改进幅度呈指数衰减，而如何在智能体群体中进行离散优化仍是一个尚待解决的挑战。