标签
Daniel Han 构建了 Unsloth，该工具通过重写 GPU 内核，使单张 GPU 的微调速度提升 2 到 3 倍，让众多开源用户无需集群即可训练模型。
Unsloth 发布了 Kimi K2.7 Code 的 GGUF 量化版本，这是一个基于 Kimi K2.6 构建的 1 万亿参数 MoE 编码模型，具有改进的 Token 效率和智能体编码能力。
Unsloth 发布了 MiniMax-M3 多模态模型的 GGUF 量化版本，支持图像-文本到文本任务，兼容 Transformers、llama.cpp、vLLM 等推理引擎。
Unsloth AI宣布，Gemma 4在MTP GGUFs上运行速度快了2倍，使得在如MacBook Pro M1 Max这样的硬件上以72 tokens/s的速度运行本地编码代理成为可能。
Unsloth 推出 2-bit 量化的 Gemma 4 12B 模型，仅 4.66GB 可在本地运行，具备自主联网搜索、深度分析等类麦肯锡咨询能力。
用户正在使用 Unsloth 和 TRL 实现带验证器的推理训练，报告了使用小型 SLM 和微型 RM 本地生成类似 GRPO 的样本的进展，并承诺很快发布视频。
Unsloth 发布了 Google DeepMind 的 DiffusionGemma (26B-A4B) 的 GGUF 量化版本，这是一种新的块扩散架构，可实现更快的文本生成，已准备好用于 llama.cpp。
Unsloth 发布了 Gemma 4 QAT MTP 辅助模型，以 GGUF 文件形式在 Hugging Face 上提供，支持 q8_0 及更大量化格式。
一份详细的基准测试，比较 ByteShape 和 Unsloth 对 Qwen3.6-35B-A3B 的量化在工具调用性能、KV 缓存量化效果以及使用 llama.cpp 和 tool-eval-bench 的长上下文退化情况。
讨论对像Gemma-4这样的量化感知训练(QAT)模型使用替代量化方法是否合理，质疑unsloth的基准测试显示其更接近QAT微调的性能是有益还是适得其反。
Unsloth 已为 Gemma 4 模型（31B、26B-A4B、12B）发布了多 Token 预测 (MTP) GGUF 权重，提供 Q8、F16 和 BF16 精度，可在 Hugging Face 上获取。
Unsloth 发布了Google DeepMind的Gemma 4模型的GGUF量化版本，通过量化感知训练（QAT）优化，在保持质量的同时降低内存需求，支持多种格式和大小，适用于不同的部署场景。
Unsloth，一款流行的 LLM 微调库，宣布即将支持 Apple Silicon 设备，将其优化能力扩展至 NVIDIA GPU 之外。
一份逐步指南，介绍如何通过Unsloth和llama.cpp在Qwen3.6和Gemma 4等本地LLM中使用MCP服务器，从而利用工具、文件及API实现私有的自动化工作流。
宣布即将发布一个关于训练小型模型用于偏好调优的视频，涵盖奖励模型、RLHF、DPO、ORPO，以及Unsloth和TRL的使用。
UnslothAI 宣布，其 4-bit Qwen3.6 MTP GGUF 模型仅凭单个提示即可搜索超过70个网站，通过 Unsloth Studio 可在20GB内存上本地运行。此次更新增加了自动 MTP 和推测解码支持。
Unsloth Qwen3.6 27B Q6_K 在 RTX 5090 上通过 MTP 达到每秒超过 100 个令牌，相比没有 MTP 时的 45-50 令牌/秒显著提升。
一位用户分享了对Unsloth量化模型的偏好，原因包括发布速度快、困惑度低，并将其与Apex MoE量化模型进行比较，同时向社区询问他们最喜欢的量化发布者。