实际瓶颈终于出现。解码速度快到工具调用(CPU)成了真正瓶颈,而非解码或预填充。单张 RTX5090。将 Kenshi 移植到 Godot 项目。
摘要
一位开发者分享了自己的经验:在 RTX 5090 GPU 上运行 25 个并发编码智能体时,CPU(9800X3D)成了工具调用执行的主要瓶颈,而不是 GPU 解码速度。他还分享了前端调优和智能体槽位管理方面的实践经验。
大家好,项目页面实时更新。TLDR:这个故事的教训是,想做真正的智能体编程、干实际的活,你需要一颗更强的 CPU……过去两个月我一直在折腾,想让我的 RTX5090 跑满,甚至专门为它写了自己的引擎,这里得到了“火热”的反应(嗯,源码马上放出)最近我升级了缓存的存储方式,并且让共享相同初始预填充的任务能够复用部分预填充,之后我就发现:往项目里加的智能体越多,性能反而越差——我一开始是让 12 个槽位的服务器在跑。实际上服务器处于利用不足的状态。上下文空闲、槽位空闲,GPU 平均跑到 ~700t/s 在干正事(没有贪心代码,但也包含思考过程中的工具调用等等),我完全搞不懂问题出在哪……我明明让它越来越快、任务处理得越来越好,它反而变慢了……我同时跑了 25 个智能体(为了把那 12 个槽位填满),结果它们几乎很快全都卡在 `tool call` 上,我的服务器几乎跑不动了。我终于打开了任务管理器——看的不是 GPU 也不是内存,而是 CPU。结果一目了然:每一个线程都 100% 占用,完全堵死。教训:如果你想做真正用到工具的智能体编程,就必须确保你的 CPU 扛得住。我的 9800X3D 就是跟不上这个项目里重度智能体使用带来的工具调用处理量,尽管我的引擎完全有能力跑得更快。编辑:一些补充教训:- 对前端做调优非常有意义。调优前它一股脑塞进来 2 万条 prompt,调优后因为新任务和更好的、更紧凑的任务处理,基本只有 7000 条左右。前端重构前后,端到端耗时从 43 分钟降到了 18 分钟。- 永远要比服务器槽位数多开一些智能体,因为工具使用、测试等带来的暂停是不可避免的。- 在项目的整个过程中,每次尝试下来,共享上下文都是比固定上下文更好的选择。
相似文章
Qwen3.8-27B Q4_K_M 跑在单张 RTX 3090 上 + OpenCode:吞吐量、四项编码任务与一次推理预算失败
作者搭建了一套本地编码代理环境——在 24GB 的 RTX 3090 上通过 llama.cpp 运行 Qwen3.8-27B Q4_K_M,并接入 OpenCode——报告了吞吐量数据、四个有界 Python 编码任务(三项通过检查),以及一次推理预算失败:模型耗尽了 8K 的输出额度,却没能产出补丁。
如果你使用 Open Code 或其他代理程序,但没有并行使用代理,那么你会损失大量的 t/s。基准测试:RTX5090,通过 LM Studio 加载 Qwen3.6 35B,并行任务数设为 8
基准测试表明,在 RTX 5090 上使用 LM Studio 并行运行 4-5 个代理可最大化吞吐量,而更多代理会因显存和计算分割导致收益递减。
为什么现有硬件难以应对 2026 年多智能体工作流(Mac Studio vs. RTX 5090)
本地运行多智能体 AI 工作流的硬件需求对比,重点探讨显存(VRAM)与 KV Cache 的瓶颈限制。
在4GB笔记本GPU(RTX 3050 Ti)上的本地智能体工作空间:tok/s 以及小型模型在调用工具、构建制品和RAG时遇到的困难
作者在4GB RTX 3050 Ti笔记本GPU上对Bike4Mind工作空间内的本地Qwen模型进行了基准测试,发现采用Q4_K_M量化的2B模型是适配VRAM的最佳选择,达到了96 tok/s。较小的模型在工具选择、需要多个模型的制品生成以及导致模型切换开销的RAG嵌入方面存在困难。
Qwen 3.6 27B 投机解码基准测试:单张 RTX 3090 上实现 ~100 TPS
一份详细的基准测试,比较了单张 RTX 3090 上 Qwen 3.6 27B 的投机解码引擎,显示 ik_llama 在代码生成中达到约每秒 100 个 token。结果包括 5 种引擎变体的解码 TPS、TTFT、显存占用和上下文退化情况。