我们量化了新的 Ornith 1.5 9B 和 35B-A3B

Reddit r/LocalLLaMA 模型
quantization ai-models open-source llama-cpp hugging-face mit-license mixture-of-experts

摘要

本文详细介绍了使用 Atomic Dynamic 方法对 Ornith 1.5 9B 和 35B-A3B AI 模型进行量化，提供了与标准量化的基准对比，并分享了 Hugging Face 集合。

Ornith Lab 今天发布了新的 Ornith 1.5，包括一个支持视觉的 9B 密集模型和一个 35B-A3B 混合专家模型，均采用 MIT 许可证，训练于一个能自我生成任务的循环中。此外还有一个巨大的 397B 模型，但我们没有对其进行量化（不过如果你想要尝试——我们会去做）。我们为两者制作了我们的 AD（Atomic Dynamic）量化版本，9B（14 个构建）和 35B-A3B（13 个构建），并在相同的 imatrix 上将其与标准 llama.cpp 量化版本进行了比较。它们的平均 KLD 和 top-1 与我们自己的 BF16 转换版本的对比： Ornith-1.5-9B 文件大小 平均 KLD top-1 Q8_0 9.53 GB 0.0022 97.94% AD-Q8_0-Q6_K 8.55 GB 0.0035 97.46% Q5_K_M 6.47 GB 0.0299 92.80% AD-Q5_K-Q4_K 5.93 GB 0.0255 93.10% AD-Q4_K-IQ4_XS 5.61 GB 0.0344 91.93% AD-IQ3_S-IQ3_XXS 4.29 GB 0.1441 83.44% Ornith-1.5-35B-A3B 文件大小 平均 KLD top-1 Q6_K 28.51 GB 0.0167 94.63% AD-Q6_K-Q5_K 26.25 GB 0.0158 94.85% Q5_K_M 24.73 GB 0.0269 93.31% AD-Q5_K-Q4_K 22.14 GB 0.0251 93.52% Q4_K_M 21.17 GB 0.0477 91.01% AD-Q4_K-IQ4_XS 20.13 GB 0.0315 92.71% HF 上的集合，包含 imatrix、逐张量布局和其他所有内容：https://huggingface.co/collections/AtomicChat/ornith-15-9b https://huggingface.co/collections/AtomicChat/ornith-15-35b-a3b 我们的本地 AI 开源应用 https://atomic.chat（我是联合创始人）。欢迎随时提问并分享您的反馈！
查看原文

相似文章

Ornith-1.0 在 Hugging Face 上发布

Reddit r/LocalLLaMA

Ornith-1.0 已在 Hugging Face 上发布，包含一系列模型，参数范围从 9B 到 397B，涵盖密集和 MoE 架构，声称在各项基准测试中达到 SOTA 性能。