@iotcoi：在小小的GB10 GPU上跑通Google cookbook，10个agent并发，436 tok/s，每agent 43.6 tok/s，Qwen3.6-35B + Dflash + DDTree，vLLM GB10仅74W
摘要
一位开发者在单颗74W GB10 GPU上，用vLLM同时跑起10个35B参数Qwen3.6模型agent，总吞吐436 tok/s，实现高效边缘部署。
查看缓存全文
缓存时间: 2026/04/22 11:28
我用小小的 GB10 GPU 跑了 Google 的 cookbook，10 个智能体同时在线：
436 tok/s，平均每智能体 43.6 tok/s
Qwen3.6-35B + Dflash + DDTree，vLLM 在 GB10 上，整机 74 W
未来不是“一万张 GPU 放在核动力数据中心”，
而是“十個智能体在桌上帮妳解決问题，同时妳去冲杯咖啡”。
相似文章
@iotcoi：Qwen3.6-27B-FP8 + Dflash + DDTree，256k 上下文，10 个智能体，单颗 49W GB10 上峰值 200 tokens/s，平均解码 136 tokens/s
量化版 27B Qwen3.6 在单颗 49W GB10 GPU 上借助 Dflash+DDTree 优化，256k 上下文、10 智能体并发，峰值达 200 tok/s，平均 136 tok/s。
两块RTX 4090实际能同时运行多少个代理？三周的llama.cpp并发数据——软上限5 @ 64k，硬上限9，以及原因。
关于在两块RTX 4090 GPU上使用llama.cpp并发运行多个AI代理的基准测试报告，揭示了性能限制和Qwen模型的最佳配置。
我测试了2个本地代理是否并行运行还是轮流使用1个模型。批处理是真实的，但使用QWEN 3.8 27B 4bit在MacBook Pro M3Max 128GB统一内存40核GPU上并非没有代价
作者在MacBook Pro M3Max上使用QWEN 3.8 27B 4bit模型进行了两个本地代理并行运行的实验，发现批处理可以实现并发执行，但会增加延迟，最佳代理数约为4个。
8 个智能体 × 250K 上下文，在两张 3090 显卡上并发运行（总计约 600+ token/秒）
一位开发者分享了开源的 vLLM 补丁和 Triton 内核，通过将完整的 int4 KV 缓存保存在系统内存中，并利用秩为 64 的键草图在每个注意力计算步骤中仅提取约 1% 的 token，实现了在两张 RTX 3090 上并发运行 8 个上下文长度为 25 万 token 的编程智能体。据其报告，总吞吐量约为 545–790 token/秒，在 25 万 token 的上下文长度下，召回成绩为 31/32。
双RTX 3090 + EPYC主机运行qwen3.8-flash-next，速度约38令牌/秒
用户描述了一个硬件配置，包括双RTX 3090显卡和AMD EPYC CPU，用于运行Qwen3-Flash-Next模型（使用llama.cpp），单流推理速度达到38令牌/秒。用户寻求建议，是否应该添加第三块GPU或升级CPU以提高性能，特别是对于运行多个并行代理。