混合精度

Tag

Cards List
#混合精度

@aliez_ren: 这下真的舒服了,本地 70 tps 跑 GLM 5.2 几乎满血版! https://huggingface.co/madeby561/GLM-5.2-MXFP8-NVFP4-NF3-Hybrid…

X AI KOLs Timeline · 2d ago Cached

通过混合精度(MXFP8、NVFP4、NF3)量化,在4张96GB GPU上实现本地运行GLM-5.2(753B参数)几乎满血版,精度接近原始FP8,吞吐量达70 tps。

0 favorites 0 likes
← Back to home

Submit Feedback