unsloth

一位用户分享了在 Mac mini M4 上使用 Unsloth 的 Q3 XXS 量化版本运行 Qwen 27B 3.8 的积极体验，并询问他人对低于 Q3 量化版本的使用感受。

本文提供了 Qwen3.8-27B 模型的本地部署指南，推荐使用 Q4 量化和 Unsloth GGUF 工具，并分享了与 FP8 基准相比较的性能测试结果。

一位用户在8GB显存系统上测试了 unsloth 1位量化版本的 Qwen 3.8 27B AI模型，并发现结果很有趣。

Unsloth已发布适用于Qwen3.8模型的Dynamic v3.0 GGUFs，通过改进的量化技术和校准方法，在相同尺寸下提供超过10%的准确率提升。

Unsloth 发布了 Qwen3.8-27B AI 模型的 NVFP4 量化版本，该模型在编码、专业工作、智能体任务和原生视觉语言理解方面提供了增强的能力。

Unsloth 宣布 Qwen3.8 现在可以在本地运行，通过 Dynamic 1-bit 量化将 2.4T 参数模型从 4.9TB 缩小到 397GB，并提供了指南和 GGUF 版本。

Unsloth Desktop 是一款新的开源桌面应用，可在 Mac、Windows 和 Linux 上本地运行和训练模型，并支持将 Claude Code 和 Codex 连接到本地 LLM。

一位用户分享了在 llama.cpp 上使用 OpenCode 对 Muse Glimmer（通过 Unsloth 的 Q4 量化）进行本地测试，指出其性能低于 Qwen3.6 27B，但工具调用可靠。

Unsloth 发布了 Meta 的 Muse Glimmer 30B 模型的 GGUF 量化版本，专为本地智能体任务设计，支持多模态输入、工具使用和多步推理。

Unsloth 发布了 Kimi K3 的新 GGUF 量化版本，大小从 466GB 到 649GB 不等，使大型模型能够高效部署。

Unsloth 发布了 MiniMax-H3 的 GGUF 量化版本，MiniMax-H3 是一个支持原生立体声音频的全模态视频生成系统，可通过 sd-cli 及其他平台进行本地执行。

Unsloth AI 宣布推出 DSpark，使 DeepSeek-V4-Flash GGUF 模型在本地运行速度提升约 1.4–2 倍，达到 120 tokens/s，且准确率无变化。

Unsloth的Daniel Han验证了Qwen3.8-27B仅需17GB显存即可运行，使其能够用于本地推理。

阿里巴巴宣布 Qwen3.8-27B 开源权重版本发布，可在 17GB RAM/VRAM 上本地运行，同时还有更大的 Qwen3.8-Max。

Unsloth 发布了 DeepSeek-V4-Flash-0731 的 IQ3 GGUF 量化版本，支持通过 llama.cpp、Ollama、LM Studio 等工具进行本地推理。

展示了 DeepSeek-V4-Flash-0731 在单块 40GB A100 上以 unsloth GGUF 量化版本运行，速度为 17.7 tok/s，并将 6 个专家加载到显存中，从而实现了完整的智能体编码循环。

对 Unsloth AI 的回复，表达了对传闻中的 DeepSeek-V4-Flash 模型的兴奋，以及通过量化版本在本地运行它的可能性。

Unsloth 预告了即将在 Hugging Face 上发布的 DeepSeek V4 Flash GGUF 量化模型。

Unsloth 发布了 Laguna S 2.1 Mixture-of-Experts 模型的 GGUF 量化版本。该模型是一个拥有 118B 参数（8B 激活参数）的编码模型，具备 1M 上下文窗口和智能体能力。量化版本支持高效的本地部署。

详细基准测试：Unsloth的Qwen3.6-27B NVFP4模型在RTX 5090 GPU上的表现，显示MTP（多令牌预测）在短上下文的单次请求中能显著加速，但在批量并发或长上下文场景下则会带来不利影响。