@TechMDAI: GLM-5.3-Flash EXL3-3.0bpw 由 @0xSero、@BrandonMusicKy、@LottoLabs、@localmaxxing 实现，速度 193.8 tokens/s

X AI KOLs Following 2026/08/29 18:52 模型

ai-model llm inference-speed glm flash exl3

摘要

这篇文章重点介绍了 GLM-5.3-Flash EXL3-3.0bpw AI 模型，其推理速度达到每秒193.8个令牌，归功于多位贡献者。

GLM-5.3-Flash EXL3-3.0bpw 由 @0xSero @BrandonMusicKy @LottoLabs @localmaxxing 贡献 193.8 tokens/s https://t.co/aJIBGyb0W1

查看原文

查看缓存全文

缓存时间: 2026/08/30 22:13

GLM-5.3-Flash EXL3-3.0bpw 模型展示 @0xSero @BrandonMusicKy @LottoLabs @localmaxxing

193.8 tok/s https://t.co/aJIBGyb0W1

相似文章

Reddit r/LocalLLaMA

用户在DGX Station上对GLM-5.3-Flash AI模型进行基准测试，实现了约206 tokens/秒的单流推理速度，上下文窗口为100万，并分享了设置的Docker命令。

Hacker News Top

发布 GLM-5.3-Flash，这是一款针对快速推理和性能更新进行了优化的 AI 语言模型。

X AI KOLs Following

GLM-5.3 在 Databricks 推理平台上达到每秒 310 token 的速度，在速度和延迟方面均处于领先地位，并且是最强的编程开源模型，可与 Fable 5 和 Opus 4.8 竞争。

X AI KOLs Timeline

关于在单台DGX Spark上使用sglang推理和自定义mega-kernel以11 tok/s运行未量化的DeepSeek-v4-Flash模型的更新，正在向GLM-5.2迈进。

X AI KOLs Timeline

Baseten 宣布推出针对 GLM-5.2 开源模型的世界最快 API，通过 NVFP4 量化、分离式推理等优化，实现每秒超过 280 个 token 的处理速度。