Kimi k3 达到 2.8t！需要激进的 iQ2_XXS 或 IQ1.8 才行！
摘要
Kimi 发布了一个新的 2.8 万亿参数模型 k3，规模超出预期，要在消费级硬件上运行需要采用激进量化方案。
我本来希望 Kimi 只有 2t，但结果居然高达 2.8t！！（泪流满面）这会让它更难流畅运行。希望 Unsloth 团队能对这个模型施展魔法。
相似文章
有人试过Q1 Kimi K3吗？（555GB）
Kimi K3是一个庞大的2.9万亿参数混合专家模型，拥有1040亿活跃参数，100万上下文长度，原生支持MXFP4训练，现已提供从540GB到更小尺寸的GGUF量化版本，但运行需要强大的硬件。
@eliebakouch: Kimi K3（总参数2.8万亿）是一个开源权重模型，与fable和gpt 5.6 sol竞争，同时价格便宜得多，……
Kimi K3 是一个开源权重的2.8万亿参数大语言模型，采用了线性注意力、潜在MoE和新激活函数等创新，以更低成本提供有竞争力的性能。
全新 Unsloth KImi K3 发布！Q1_0 (466GB)、TQ1_0 (509GB)、IQ1_M (649)、TQ2_0 (551GB)！！
Unsloth 发布了 Kimi K3 的新 GGUF 量化版本，大小从 466GB 到 649GB 不等，使大型模型能够高效部署。
有人测试过 IQ1_M 342GB 剪枝版 Kimi K3 吗？能用吗？
这是一个高度实验性的 GGUF 版本，基于 2.8T 参数的 Kimi K3 MoE 模型，剪枝了 55% 的专家并量化至约 2.15 bpw（319 GiB）。运行它需要特定的 llama.cpp PR 和自定义补丁，并包含详细的使用说明。
Kimi K3 架构概述与笔记
Sebastian Raschka提供了开放权重的Kimi K3模型架构概述，重点介绍了其从480亿到2.8万亿参数的扩展、新的LatentMoE和注意力残差组件、移除RoPE改用NoPE，以及原生多模态支持。该模型强调推理效率，并达到前沿性能水平。