新的 Muse-Glimmer-30B SoTA 量化版本——希望是新的阵容 :)

大家好，我做量化版本已经有段时间了——最近我短暂休息了一下，投入到硬核研究中（期间提交了我的第一篇 EMNLP 论文！）。在这个过程中，我积累了一些量化优化技巧：从新颖的、待发表论文的技巧，到一些真正厉害的张量映射算法。我把一些秘密配方用在了新发布的 Muse Glimmer 30B 上（META IS BACK！），并和几个 OG 模型进行了对比。说实话，我很震惊它在每一档 VRAM 级别上都不会输给任何现有量化版本！其中最酷的一个是我的 Q8 量化版本，它比 UD-Q8_K_XL 更小，并且接近 BF16 的程度提高了 21%。完整方法论在模型卡片上——评估设置、置信区间、保留切片等等。欢迎在评论区提问。模型：https://huggingface.co/AaryanK/Muse-Glimmer-30B-GGUF 我原本还有优化空间，但计算额度用完了 :( 作为一个独自搞研究的本科大二学生，我不能经常花 H100 的钱，这就是标题里“希望是”的原因 :) 我正在寻找 AI 代理编排和模型推理方面的实习机会。如果这项工作与你的团队相关：linkedin.com/in/theaaryankapoor 我计划很快写一篇详细介绍其中一些秘密配方的文章！ https://preview.redd.it/yzf6n2fyuuih1.png?width=1860&format=png&auto=webp&s=aa8b615918c447001f816f891e7f52d758c72548 https://preview.redd.it/tgkxp30wuuih1.png?width=1920&format=png&auto=webp&s=366cf095528f9c2cd8ca7aa3e8d49a946085b374 https://preview.redd.it/0rcl5o70vuih1.png?width=1980&format=png&auto=webp&s=e1fddd2f83e395198fb75e37145d7eaadd72a916 祝大家推理更上一层楼！