标签
SemKV引入了一个基于经验测量的质量悬崖引导的KV缓存混合精度量化框架，在长上下文LLM推理中实现了显著的存储减少，且没有可检测的质量损失。
一种新颖的端到端大语言模型压缩框架，联合优化结构化剪枝与混合精度量化，在超低位宽精度下，相比于现有最先进方法实现了显著的困惑度降低和加速效果。