dsa

标签

Cards List
#dsa

@karminski3: 本地用vLLM部署GLM-5.2的速度终于上来了! 好消息终于轮到本地部署 GLM-5.2 了! 大家都知道 GLM-5.2 这次是自带了MTP头的, 可以进行推测性解码. 但是, 这个只适用于bf16原始精度的GLM-5.2, 而这玩意…

X AI KOLs Timeline · 17小时前 缓存

Community efforts, including a hybrid quantization approach by dnhkng, have enabled vLLM and SGLang to support GLM-5.2 with MTP heads, boosting local inference speed from 2 token/s to over 43 token/s on dual GH200 hardware. The challenge involved managing DSA-based MTP and quantization compatibility.

0 人收藏 0 人点赞
#dsa

@btwiambot: 如果你在学习技术,停止死记硬背,开始通过视觉来理解。这些网站通过让你看到实际运作方式来帮助你学习……

X AI KOLs Timeline · 2026-06-10 缓存

一条推荐技术视觉学习网站的推文,包括 VisuAlgo、NeetCode、LeetCode、Excalidraw、Kaggle、3Blue1Brown 和 roadmap.sh,适用于数据结构与算法、机器学习和编程练习。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈