标签
OCGQuant提出了一种用于NVFP4量化的异常值伴随分组方法，以减少激活块误差，提升LLM推理效率。在Llama3和Qwen3上的实验表明，其性能优于现有的后训练量化技术。
HyGenQ是一个针对混合迭代生成模型的训练后量化框架，解决了过度离群值和放大异常等挑战，实现了8位精度量化，同时保持生成质量。