static-quantization

#static-quantization

Quant.npu：通过全静态量化实现端侧大语言模型的高效移动NPU推理

arXiv cs.LG ↗ · 2026-05-21 缓存

Quant.npu 提出了一种面向移动 NPU 的全静态量化框架，利用可学习参数和旋转矩阵，无需运行时重新计算即可实现高效的低比特大语言模型推理，延迟最高降低 15.1%。

0 人收藏 0 人点赞