@UnslothAI：4-bit Qwen3.6 MTP GGUF 成功从单个提示中搜索70多个网站。通过 Unsloth Studio 在20GB内存上本地尝试…
摘要
UnslothAI 宣布，其 4-bit Qwen3.6 MTP GGUF 模型仅凭单个提示即可搜索超过70个网站，通过 Unsloth Studio 可在20GB内存上本地运行。此次更新增加了自动 MTP 和推测解码支持。
4-bit Qwen3.6 MTP GGUF 成功从单个提示中搜索了70多个网站。
通过 Unsloth Studio 在20GB内存上本地尝试。
Unsloth 现在支持自动 MTP + 推测解码，并可自动为您的设备（Mac, CPU, GPU）选择最佳 MTP 设置。
GitHub: https://t.co/aZWYAtakBP https://t.co/DwGVNMCfRV
查看缓存全文
缓存时间: 2026/05/20 02:24
Unsloth Studio 让您能在本地运行和训练模型。功能 • 快速入门 • 笔记本 • 文档
相似文章
@TeksEdge: Unsloth 发布了目前我测试过的最快的 Qwen3.6-27B MTP GGUF。是时候升级了。与之前的 GGUF 相比，Q4/Q6 XL 版本的推理速度快了约 55%…
Unsloth 发布了优化后的 Qwen3.6-27B MTP 模型 GGUF 版本，与前序量化版本相比，推理速度显著提升（在 RTX 5090 上最高可达 114 tok/s）。
@Italianclownz：在 @UnslothAI 和 @Alibaba_Qwen Qwen 3.6 35B A3B MTP MXFP4_MoE 模型上测试了 MTP、TriAttention 和 TurboQuant，发布在 @huggingface @no_stp…
一名用户在消费级硬件上使用 Unsloth 对 Qwen 3.6 35B 进行了基准测试，对比了 MTP、TriAttention 和 TurboQuant 优化效果，发现 TurboQuant 最为有效。
Unsloth 上的 MTP
Unsloth 发布了支持多 Token 预测 (MTP) 的 Qwen3.6 模型 GGUF 量化版本。
unsloth/Qwen3.6-27B-MTP-GGUF
Unsloth 发布了 Qwen3.6-27B 模型的 GGUF 权重，该模型支持多令牌预测（MTP），可实现更快的生成速度并增强了智能体（Agentic）编码能力。
havenoammo/Qwen3.6-27B-MTP-UD-GGUF
该 Hugging Face 仓库提供了 Qwen3.6-27B 的 GGUF 文件，这些文件在 Unsloth UD XL 量化版本的基础上嫁接了多 Token 预测 (MTP) 层。它还包含了构建支持 MTP 的 llama.cpp 的说明，以实现投机解码。