智谱 GLM-5.3-Highspeed 现身 ZCode 灰度发布,用户报告速度约为 490 Tokens/s(阅读约需 2 分钟)
摘要
智谱的 GLM-5.3-Highspeed 模型已在 ZCode 的灰度发布中亮相,早期用户反馈其推理速度约为每秒 490 个 token。该模型正逐步向随机选中的订阅用户开放。
该模型正以灰度发布的方式向随机选中的订阅用户逐步推出。
相似文章
@Yuchenj_UW:GLM-5.3 达到 310 token/s!Databricks 推理速度和延迟再次位居第一。在我们的内部 Databricks 编程基准测试中……
GLM-5.3 在 Databricks 推理平台上达到每秒 310 token 的速度,在速度和延迟方面均处于领先地位,并且是最强的编程开源模型,可与 Fable 5 和 Opus 4.8 竞争。
@TechMDAI: GLM-5.3-Flash EXL3-3.0bpw 由 @0xSero、@BrandonMusicKy、@LottoLabs、@localmaxxing 实现,速度 193.8 tokens/s
这篇文章重点介绍了 GLM-5.3-Flash EXL3-3.0bpw AI 模型,其推理速度达到每秒193.8个令牌,归功于多位贡献者。
zai-org/GLM-5.2-FP8
Z.AI 发布 GLM-5.2,一款旗舰级开源模型,拥有可靠的 1M token 上下文窗口,改进的编码能力,以及新的 IndexShare 稀疏注意力架构,在 1M 上下文下 FLOPs 减少了 2.9 倍。
我进行了一些模型优化技巧,将GH200系统上的GLM5.2从约2.5 tok/s提升至超过50 tok/s。
一篇详细博客文章,描述了如何通过停止模型跨模块通信,并将FP8 MTP头部嫁接至INT4基础模型上,将双Grace Hopper系统上的GLM-5.2推理速度从2.5 tok/s显著提升到超过50 tok/s。
GLM-5.3 API上线:每百万token价格为1.4/4.4美元(阅读需2分钟)
GLM-5.3是来自中国初创公司Z.ai的新型前沿开源语言模型,其API已上线,输入token每百万1.40美元,输出token每百万4.40美元,并计划开放权重发布。该模型提供先进的编码能力,与其他领先AI模型相比具有竞争力的定价。