@lateinteraction: 这显然是一个64倍压缩比,且质量几乎无损失——@yjoonjang 的作品真的很好!

X AI KOLs Following 新闻

摘要

一条推文强调实现了64倍压缩比,且质量几乎无损失,赞扬了 @yjoonjang 的工作。

这显然是一个64倍压缩比,且质量几乎无损失——@yjoonjang 的作品真的很好!
查看原文

相似文章

通过联合优化架构与量化策略实现 LLM 压缩

arXiv cs.LG

来自 UiT 和奥斯陆大学的研究人员提出了一种可微分 NAS 框架,能够联合优化 LLM 压缩中的架构配置与混合精度量化策略。与先 NAS 后量化的顺序基线方法相比,该框架在七项推理任务中可实现最高 1.4 倍的推理加速,或最高 6% 的精度提升。