标签
作者分享了过去为了在大规模场景下实现高质量的令牌级分类，而探索高效单专家加载方法的经历，呼应了Maxime Rivest关于特定领域专家模型实用性的观点。
ScaleSweep提出了一种针对LLM的NVFP4训练后量化的新型块缩放初始化方法，通过遍历可行的块缩放候选值来提高精度。在Llama和Qwen模型上的实验表明，在激进量化下，该方法保留了超过93%的全精度性能。