linear-layers

标签

#linear-layers

PRQuant: 置换残差量化用于低开销推理

arXiv cs.LG ↗ · 5天前缓存

PRQuant 是一种无需训练且低开销的框架，用于量化大型语言模型中的线性层，通过置换和残差补偿来减少推理延迟，同时在如MXFP4等基准上提升准确性。

0 人收藏 0 人点赞

← 返回首页

提交意见反馈