标签
对 Unsloth AI 的回复，表达了对传闻中的 DeepSeek-V4-Flash 模型的兴奋，以及通过量化版本在本地运行它的可能性。
Unsloth 预告了即将在 Hugging Face 上发布的 DeepSeek V4 Flash GGUF 量化模型。
Unsloth 发布了 Laguna S 2.1 Mixture-of-Experts 模型的 GGUF 量化版本。该模型是一个拥有 118B 参数（8B 激活参数）的编码模型，具备 1M 上下文窗口和智能体能力。量化版本支持高效的本地部署。
详细基准测试：Unsloth的Qwen3.6-27B NVFP4模型在RTX 5090 GPU上的表现，显示MTP（多令牌预测）在短上下文的单次请求中能显著加速，但在批量并发或长上下文场景下则会带来不利影响。
作者认为，对于样本量低于1万的数据集，QLoRA微调中常用的2e-4学习率过高，会导致过拟合和评估效果不佳，并建议使用更低的学习率，如1e-4。
unsloth/inkling-GGUF 页面提供了 Inkling 的量化 GGUF 版本。Inkling 是 Thinking Machines 开发的一个 975B 参数的多模态 MoE 模型（41B 活跃），设计用于文本、图像和音频输入，拥有开放权重，并支持通过 Unsloth、SGLang 和 vLLM 等库进行本地部署。
Unsloth 与 AWS 合作，撰写了一份关于在 Amazon SageMaker 上对 LLM 进行动态量化和部署的全面指南，涵盖模型格式、工具和最佳实践。
Unsloth通过精确计算推测模型的KV缓存字节数（而非使用平坦的显存缓冲），将Qwen3.6-27B Q6_K在单张32GB显卡上的上下文长度从23K提升至64K。
量化方法 Voodoo Quant 在 Qwen3.5 0.8B 和 2B 模型上性能超越 Unsloth Dynamic 2.0 KLD 95%
unslooth/Qwen3.6-27B-NVFP4模型在4块RTX 5060 Ti GPU上，使用点对点(P2P)和流水线并行(PP)在不同并发级别下的基准测试结果。
Unsloth 发布新版 Qwen3.6 27B NVFP4 量化方案，引入 FP8_E4M3 中间精度层并细化权重保护，在 24GB VRAM 上实现 2.5 倍速度提升，同时改进准确性和工具调用能力。
Unsloth AI 发布了量化版 Qwen3.6 模型，在消费级 GPU 上运行速度快了 2.5 倍。其中 27B 模型可适配 24GB 显存，35B-A3B 模型实现了高吞吐量。
使用Unsloth Dynamic GGUFs在本地运行Z.ai的开放模型GLM-5.2的指南。该模型拥有744B总参数量（40B活跃），1M上下文窗口，量化版本可将内存降至2-bit的239GB，使得在256GB Mac上实现本地推理成为可能。
一位开发者使用Unsloth框架对小型Qwen 3 0.6B模型进行微调，用于对家庭问题进行分类，仅用850个训练样本便取得了良好效果。
一条推广Qwen 3.6 27b模型并推荐UnslothAI在任何GPU上运行它的推文。
Unsloth 成功将 GLM-5.2 模型以 2-bit 量化压缩至 238GB，可在 256GB Mac 上本地运行，保留约 82% 的准确率。
UnslothAI 宣布 GLM-5.2，Z.ai 的最强开源模型，拥有 744B 参数，现在可以通过动态 GGUF 量化在本地运行，将大小减少约 84% 至 239GB，同时保留约 82% 的准确率。它适用于 256GB Mac 以及 RAM/VRAM 配置，并支持长上下文、推理和代理任务。
GLM 5.2 GGUF 量化模型已发布，8位版本大小约为完整模型的一半；更小版本即将推出。