@Yuchenj_UW: UC Berkeley 开源了 FreeToken。惊人结果：单个 RTX PRO 6000 以 14.9 tok/s 运行 753B GLM-5.2！8GB RTX...

X AI KOLs Following 工具
open-source ai-inference gpu-performance local-ai developer-tools

摘要

UC Berkeley 已开源 FreeToken，这是一个显著加快消费级 GPU 上本地 AI 推理速度的工具，在 8GB RTX 4060 笔记本电脑上实现高达 39.3 tok/s 的性能。

UC Berkeley 开源了 FreeToken。惊人结果： 单个 RTX PRO 6000 以 14.9 tok/s 运行 753B GLM-5.2！ 8GB RTX 4060 笔记本电脑（约1000美元）以 39.3 tok/s 运行 Qwen3.6-35B！ FreeToken 在消费级 GPU 上比 Ollama 快 2-4 倍。本地 AI 推理变得非常真实。@Andy_ShuoYang 和 UC Berkeley Sky Lab 的出色工作！
查看原文
查看缓存全文

缓存时间: 2026/08/24 05:51

加州大学伯克利分校开源了FreeToken。效果惊人：

单张RTX PRO 6000显卡运行753B参数GLM-5.2模型时，速度可达14.9 tok/s！

8GB显存的RTX 4060笔记本电脑（约1000美元）运行Qwen3.6-35B模型，速度竟达39.3 tok/s！

在消费级显卡上，FreeToken比Ollama快2-4倍。本地AI推理正在成为现实。特别感谢@Andy_ShuoYang和伯克利Sky Lab团队的杰出贡献！

杨硕（@Andy_ShuoYang）： 现在你的游戏电脑也能以交互式速度运行前沿模型了，只需使用官方检查点而无需极端量化！

Qwen3.6 35B → 8GB RTX 4060笔记本电脑 @ 39 tok/s

DeepSeek-V4-Flash 284B → RTX 5090台式机 @ 22-25 tok/s

GLM-5.2 753B → RTX PRO 6000工作站 @ 15 tok/s

相似文章

4090 + 5060 Ti + 64GB RAM：35B-A3B 达 206 t/s，122B 达 37 t/s

Reddit r/LocalLLaMA

一位用户分享了在双 GPU（RTX 4090 和 RTX 5060 Ti）上运行大语言模型（Qwen 27B-122B）的基准测试结果，实现了极高的 token 生成速度（例如 35B-A3B 达到 206 t/s，122B 达到 37-41 t/s）。帖子包含配置详情以及指向 GitHub 仓库的链接，其中包含脚本和原始数据。