@xueyu1125: 想跑本地大模型，如果能达到 50 token/s，才比较可用 提供下顶尖模型 API 输出速度参考（Gemini Flash 300+） DeepSeek V4 Flash：99.5 token/s GPT-5.6 Sol：68.1 to…
摘要
讨论本地大模型运行所需的token速度标准，并提供了多个顶级AI模型的API输出速度对比。
查看缓存全文
缓存时间: 2026/08/18 18:37
想跑本地大模型，如果能达到 50 token/s，才比较可用🤣
提供下顶尖模型 API 输出速度参考（Gemini Flash 300+） DeepSeek V4 Flash：99.5 token/s GPT-5.6 Sol：68.1 token/s Grok 4.6：56.5 token/s Claude Opus 4.8 Anthropic：54.4 token/s https://t.co/WY50yLUEuz
相似文章
@servasyy_ai: https://x.com/servasyy_ai/status/2117209604174311760
作者用 RTX 5090、4090 和双卡 V100 实测 DeepSeek-V4.1-Flash-1017、Qwen-3.8-Flash-Next、Qwen-3.8-27b 三款本地开源模型，通过 Core-300 盲测与 200K+ 长文本压测对比其与 GPT-5.5、Opus-4.8 等云端模型的实际体感差距。
@servasyy_ai: 彻底疯了！本地大模型直接变天！ Unsloth 刚刚放出 DeepSeek-V4.1-Flash 最新 Dynamic V3.1 量化版，现在只要 64GB 内存就能原地起飞！ 以前跑这种体量的怪兽还得堆昂贵服务器，这次直接把门槛砸穿： …
Unsloth 发布 DeepSeek-V4.1-Flash-1017 的 Dynamic V3.1 量化版 GGUF，使 64GB 内存设备即可本地运行该模型，并宣称推理速度最高提升 3 倍、支持 100 万 token 长上下文，在同级量化基准测试中全面领先。
@aehyok: 分享一个开源项目 FreeToken 专门让超大 MoE 模型在消费级电脑上运行的本地推理引擎。 Qwen3.6 35B → 8GB RTX 4060 笔记本电脑 @ 39 tok/s DeepSeek-V4-Flash 284B → R…
FreeToken is an open-source local inference engine designed to run large Mixture-of-Experts (MoE) models on consumer-grade computers, offering significantly faster performance than alternatives like Ollama with easy installation and native GUI.
@berryxia: 我靠，肉眼都跟不上这个速度了！ Daniel Han，UnslothAI创始人，YC S24，之前在NVIDIA做ML，刚刚把Qwen3.6的实验MTP GGUF放出来了。 27B模型单GPU直接跑到140 tokens/s。 35B-A…
UnslothAI创始人Daniel Han发布了Qwen3.6的实验性MTP GGUF版本，在消费级GPU上实现27B模型140 tokens/s、35B-A3B版本220 tokens/s，速度提升1.4倍且精度零损失。
@nicebabycat: https://x.com/nicebabycat/status/2091726637155103126
本文详细测试了Ling-3.0-tiny模型在Apple M5芯片Mac上的本地部署与性能，展示了在无独立显卡时以47 token/s的速度运行7.9B参数模型的可行性。