rotation-transform

标签

#rotation-transform

可训练的平滑旋转变换与学习到的通道缩放用于LLM量化

arXiv cs.LG ↗ · 2026-06-10 缓存

本文提出了可训练的平滑旋转变换，结合分位数鲁棒缩放和基于梯度的优化，以改进LLM的训练后量化，在LLaMA-3.2-1B的W4A4量化下实现了显著的误差降低。

0 人收藏 0 人点赞

← 返回首页

提交意见反馈