全新 Unsloth KImi K3 发布！Q1_0 (466GB)、TQ1_0 (509GB)、IQ1_M (649)、TQ2_0 (551GB)！！
摘要
Unsloth 发布了 Kimi K3 的新 GGUF 量化版本，大小从 466GB 到 649GB 不等，使大型模型能够高效部署。
最小的 UD-Q1_0 为 466GB，TQ2_0 为 551GB。干得漂亮，Unsloth 团队！https://huggingface.co/unsloth/Kimi-K3-GGUF
相似文章
有人试过Q1 Kimi K3吗？（555GB）
Kimi K3是一个庞大的2.9万亿参数混合专家模型，拥有1040亿活跃参数，100万上下文长度，原生支持MXFP4训练，现已提供从540GB到更小尺寸的GGUF量化版本，但运行需要强大的硬件。
Kimi K3 (Unsloth) IQ2-XXS 从 711GB 降至 478GB!!! 仅移除多语言来缩减体积
Kimi K3 (IQ2-XXS) 的精简版纯英文 GGUF 通过移除多语言组件，将模型大小从 711GB 降至 478GB，早期测试表明它在编码任务上可能达到或超过标准 2-bit 版本。
Kimi K2.6 Unsloth GGUF 已发布
Unsloth 推出了 Kimi K2.6 的 GGUF 量化版本，可在本地高效推理。
有人测试过 IQ1_M 342GB 剪枝版 Kimi K3 吗？能用吗？
这是一个高度实验性的 GGUF 版本，基于 2.8T 参数的 Kimi K3 MoE 模型，剪枝了 55% 的专家并量化至约 2.15 bpw（319 GiB）。运行它需要特定的 llama.cpp PR 和自定义补丁，并包含详细的使用说明。
unsloth/Kimi-K2.6-GGUF
Unsloth 推出开源 1T 参数 Kimi K2.6 MoE 模型的量化 GGUF 版本，专为长程编码、自主智能体集群及生产级设计任务优化。