Kimi K3 (Unsloth) IQ2-XXS 从 711GB 降至 478GB!!! 仅移除多语言来缩减体积

首先非常感谢发帖人 "hellohazine"，他基本上只是移除了模型的多语言冗余部分，完整保留了英语部分。这仍然是同一个模型，其余部分完好无损，并保留了全部的高智能。我认为这是一个绝妙之举，在新模型上应该更多地采用这种方法来帮助缩小体积。下周有人想试试 3.8 Qwen MAX 吗？想想你能从 DeepSeek V4 Flash 和其他模型上裁剪掉多少。Kimi K3 链接：https://huggingface.co/hellohazime/Kimi-K3-REAP-512GB-GGUF 编辑：以下是模型编辑者当前的笔记。"关于测试，我正在使用 SWE-Lancer 的“任务选择”和“逐任务”选项来尝试。几乎可以肯定，这个 Kimi-K3-REAP-512GB-GGUF 2-bit 模型比 Kimi K2.7 (2-bit) 更准确。由于这个模型无法容纳在我的 Mac 内存中，我使用一个补丁强制它运行，该补丁会从 SSD 即时加载“专家”模型（llama.cpp 中的 MoE 流式加载），并让它用 SWE-Lancer 解决三个 SWE-Lancer 任务（14294 / 15815_1 / 15925）。结果完全失败。然而，reap576_iq2xxs (478GB)——我是根据帖子作者 Hannibalj2ca 的建议，从相同的权重中裁剪出来的——能够解决同样的三个任务。起初，我怀疑我用在测试框架中的 Kimi CLI 超时了。由于解码速度慢，流式加载速度很慢，平均每个任务耗时 2.5 小时。然而，日志中没有超时的痕迹。由于这些都是单次尝试，很可能是我的环境中某些特定因素导致了这个问题。不过，仍然存在一种微小的可能性，即裁剪掉“专家”部分相比标准 2-bit 版本提升了编码性能。在日语中，我们称之为“微レ存”（微小的可能性）。它是“可能性存在于微观层面”的简称。我的下一个任务是租用具有完整 VRAM 的设备，在相同条件下比较移除“专家”层前后的结果。然而，即使我通过 RunPod 租用，运行所有 SWE-Lancer 任务的预计成本也是 $1,800 😭 如果这里有谁能在自己的机器上运行完整的 2-bit 版本，我非常希望你能帮我试一试。SWE-Lancer 任务选择和逐任务结果：k27_q2_2bit vs reap640_iq1s vs reap576_iq2xxs https://github.com/01554/kimi-k3-gguf-prune/blob/main/evals/results.csv"