直观感受每秒 X 个 token 的实际速度
摘要
作者介绍了一款基于 Web 的脚本，旨在通过模拟文本、代码和推理生成的速率，帮助用户直观理解本地大语言模型（LLM）部署中的每秒 token 数（tokens per second）性能。
我非常关注大家在本地部署大语言模型（LLM）方面的各种实践经历。模型的质量和规模固然重要，但性能同样关键。然而，单纯的数字往往无法很好地传达实际体验到的速度感。例如，如果有人说他们运行 Qwen 3.6-27B 模型的速度为 21 tokens/second，这到底快不快？10 tokens/second 是否意味着无法使用？我觉得这些数字虽然客观，但缺乏直观意义。于是，我编写了一个脚本，帮助我对这些客观数据获得一种主观的感知。该脚本支持文本、代码以及推理+代码的生成模拟。[https://mikeveerman.github.io/tokenspeed/](https://mikeveerman.github.io/tokenspeed/)
相似文章
N tokens per second 到底有多快？
一个网页工具，让用户直观体验不同LLM token生成速率（例如5–800 tok/s）在代码、文本、推理和智能体模式下的表现，帮助内化基准测试中的性能数据。
10 tokens per second 到底有多快？
Simon Willison 探讨了 10 tokens per second 速度对于大型语言模型的实际意义，提供了关于这种速度感觉有多快以及其对可用性的影响的背景信息。
@charles_irl: 为 LLM Engineer's Almanac 添加了一个有趣的小部件——一个“Token Timing Simulator”，让你直观感受 w…
在 LLM Engineer's Almanac 中添加了一个 Token 计时模拟器小部件，展示了 DFlash 技术实现约 1000 TPS 的效果，帮助用户直观理解基准测试性能数据。
TokenSpeed：面向智能体工作负载的"光速"LLM推理引擎（5分钟阅读）
Lightseek发布TokenSpeed，一款面向智能体工作负载优化的高性能LLM推理引擎，采用编译器驱动的并行技术和先进的内核优化，相关技术已被vLLM采纳。
在 12GB 显存下，使用 Qwen3.6 35B A3B 与 llama.cpp MTP 实现 80 tok/sec 的速度和 128K 上下文
一名用户分享了一份配置方案，该方案在使用 llama.cpp 和多令牌预测（MTP）的情况下，能在 12GB 显存的 GPU 上让 Qwen3.6 35B A3B 模型实现超过每秒 80 个令牌的生成速度。帖子中包含了基准测试结果以及用于优化性能的具体命令行参数。