block-quantization

标签

Cards List
#block-quantization

@charles_irl: 低精度浮点数很奇怪。我一直在推理/训练之外使用它们来建立直觉…

X AI KOLs Following · 2天前 缓存

一条推文介绍了微缩放/块量化格式(如NVFP4和MXFP4)的可视化工具,解释了这些低精度浮点数的工作原理以及它们在LLM推理中减少内存带宽需求的应用。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈