Unsloth 对 Mistral Small 4 的修复？

Reddit r/LocalLLaMA 2026/04/19 17:55 模型

quantization mistral gguf open-source fine-tuning llm

摘要

每个量化版本都已更新 [https://huggingface.co/unsloth/Mistral-Small-4-119B-2603-GGUF](https://huggingface.co/unsloth/Mistral-Small-4-119B-2603-GGUF)

查看原文

相似文章

Hugging Face Models Trending

Unsloth 发布了 Qwen3.6-27B 模型的 GGUF 量化版本，具备更强的智能体编程能力、工具调用功能，并支持 Unsloth Studio。

Reddit r/LocalLLaMA

Unsloth 正在将 MiniMax M3 模型的 GGUF 量化版本上传到 Hugging Face。

Hacker News Top

Unsloth已发布适用于Qwen3.8模型的Dynamic v3.0 GGUFs，通过改进的量化技术和校准方法，在相同尺寸下提供超过10%的准确率提升。

Reddit r/LocalLLaMA

Unsloth 发布了 Laguna S 2.1 Mixture-of-Experts 模型的 GGUF 量化版本。该模型是一个拥有 118B 参数（8B 激活参数）的编码模型，具备 1M 上下文窗口和智能体能力。量化版本支持高效的本地部署。

Reddit r/LocalLLaMA

Unsloth 发布了 Gemma 4 QAT MTP 辅助模型，以 GGUF 文件形式在 Hugging Face 上提供，支持 q8_0 及更大量化格式。