K2-Horizon 的量化版本现已可用

Reddit r/LocalLLaMA 模型
k2-horizon quantization gguf huggingface llama-cpp

摘要

K2-Horizon AI 模型系列的量化版本现已可在 Hugging Face 上下载，支持从 0.9B 到 36B 参数的多种尺寸。但 llama.cpp 的支持仍在进行中，需要使用分支版本。

您终于可以从以下链接下载量化版本： https://huggingface.co/IFM/K2-Horizon-MoVA-36B-A4B-GGUF https://preview.redd.it/cfhl43pps4rh1.png?width=2800&format=png&auto=webp&s=313eab309fb407a0a0e5da61e2a120c677d3d3cd https://huggingface.co/IFM/K2-Horizon-32B-GGUF https://preview.redd.it/jeh7lg6ss4rh1.png?width=2800&format=png&auto=webp&s=1982d31b019c5b85db68ea4520e380ce5748b03e https://huggingface.co/IFM/K2-Horizon-7B-GGUF https://preview.redd.it/xy699t9us4rh1.png?width=3800&format=png&auto=webp&s=a1420ba20d63aabe10eac7d11d6188da264ca814 https://huggingface.co/IFM/K2-Horizon-3.7B-GGUF https://preview.redd.it/rq5jiqzvs4rh1.png?width=3800&format=png&auto=webp&s=6fbd59b5b419a63185b4c844b87d7240f0932001 https://huggingface.co/IFM/K2-Horizon-0.9B-GGUF https://preview.redd.it/7bydjf4xs4rh1.png?width=3800&format=png&auto=webp&s=535ec81b2ca7b556715b0c1999964b697f9e6b40 但他们的 llama.cpp PR 仍在进行中，因此您需要使用分支版本。
查看原文

相似文章

新的k2 horizon模型似乎是性能怪兽

Reddit r/LocalLLaMA

k2 horizon AI模型，尤其是7B版本，因其在尺寸更小的情况下性能优于muse glimmer而受到赞誉，且完全开源。如果基准测试准确，这可能树立新的标准。

IFM/K2-Horizon-MoVA-36B-A4B-GGUF · Hugging Face

Reddit r/LocalLLaMA

这是K2-Horizon-MoVA-36B-A4B模型的GGUF版本，一个具有36B总参数和每令牌4B活动参数的混合专家AI模型，针对llama.cpp使用进行了优化。它在代理和推理基准测试中展示了前沿级别的性能，与更大和封闭的模型竞争。

我们量化了新的 Ornith 1.5 9B 和 35B-A3B

Reddit r/LocalLLaMA

本文详细介绍了使用 Atomic Dynamic 方法对 Ornith 1.5 9B 和 35B-A3B AI 模型进行量化，提供了与标准量化的基准对比，并分享了 Hugging Face 集合。