混合精度

通过混合精度（MXFP8、NVFP4、NF3）量化，在4张96GB GPU上本地运行GLM-5.2（753B参数）几乎满血版，精度接近原始FP8，吞吐量达到70 tps。