Unsloth 正准备发布 4 个新模型
摘要
Unsloth 推出 Dynamic v3.1 与 v3.0 新型 SOTA 量化算法,并准备发布 4 个新模型,在 Terminal Bench、DeepSWE 等基准上以 512K 上下文表现最佳。
查看缓存全文
缓存时间: 2026/11/20 17:48
Unsloth Dynamic 3 量化模型合集 - a unsloth Collection
来源: https://huggingface.co/collections/unsloth/unsloth-dynamic-3-quants 更新于约4小时前
推出 Dynamic v3.1 和 v3.0 量化模型,我们全新的 SOTA 量化算法——在 Terminal Bench、DeepSWE 等评测中,于 512K 上下文下表现最佳。
点赞 129 (https://huggingface.co/login?next=%2Fcollections%2Funsloth%2Funsloth-dynamic-3-quants)-
-
— #### unsloth/Qwen3.8-Flash-Next-GGUF 图像-文本-文本转换• 177B• 7天前更新 • 3.15M • 2k (https://huggingface.co/unsloth/Qwen3.8-Flash-Next-GGUF)
-
— #### unsloth/DeepSeek-V4.1-Flash-1017-GGUF 图像-文本-文本转换• 748B• 6天前更新 • 1.59M • 438 (https://huggingface.co/unsloth/DeepSeek-V4.1-Flash-1017-GGUF)
-
— #### unsloth/Qwen3.8-27B-GGUF 27B• 9天前更新 • 7.38M • 6.27k (https://huggingface.co/unsloth/Qwen3.8-27B-GGUF)
-
— #### unsloth/flint-GGUF 文本生成• 40B• 30天前更新 • 344k • 395 (https://huggingface.co/unsloth/flint-GGUF)
-
— #### unsloth/NVIDIA-Nemotron-3.5-Bolt-E4B-GGUF 文本生成• 8B• 28天前更新 • 758k • 218 (https://huggingface.co/unsloth/NVIDIA-Nemotron-3.5-Bolt-E4B-GGUF)
-
— #### unsloth/MiniMax-M3.1-Flash-GGUF 图像-文本-文本转换• 426B• 25天前更新 • 36.9k • 62 (https://huggingface.co/unsloth/MiniMax-M3.1-Flash-GGUF)
-
— #### unsloth/Mistral-Large-4-1T-A52B-GGUF 1T• 22天前更新 • 22.8k • 54 (https://huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF)
-
— #### unsloth/Ornith-1.5-122B-GGUF 文本生成• 125B• 30天前更新 • 927k • 110 (https://huggingface.co/unsloth/Ornith-1.5-122B-GGUF)
-
— #### unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF 图像-文本-文本转换• 74B• 10月16日更新 • 53.3k • 104 (https://huggingface.co/unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF)
-
— #### unsloth/Muse-Spark-Open-816B-A42B-GGUF 图像-文本-文本转换• 820B• 10月15日更新 • 9.93k • 78 (https://huggingface.co/unsloth/Muse-Spark-Open-816B-A42B-GGUF)
-
— #### unsloth/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-GGUF 图像-文本-文本转换• 2B• 10月15日更新 • 54.3k • 74 (https://huggingface.co/unsloth/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-GGUF)
相似文章
发布 DeepSeek-V4.1-Flash-1017 Dynamic V3.1 Unsloth GGUF 量化模型
Unsloth 发布 DeepSeek-V4.1-Flash-1017 Dynamic V3.1 (preview) GGUF 量化模型,宣称在 7 项基准上精度保持优于 ISTA 的 GSQ-RCO GGUFs,并公开了无法复现对方 AIME25 100% 精度恢复声明的对比结果。
@servasyy_ai: 彻底疯了!本地大模型直接变天! Unsloth 刚刚放出 DeepSeek-V4.1-Flash 最新 Dynamic V3.1 量化版,现在只要 64GB 内存就能原地起飞! 以前跑这种体量的怪兽还得堆昂贵服务器,这次直接把门槛砸穿: …
Unsloth 发布 DeepSeek-V4.1-Flash-1017 的 Dynamic V3.1 量化版 GGUF,使 64GB 内存设备即可本地运行该模型,并宣称推理速度最高提升 3 倍、支持 100 万 token 长上下文,在同级量化基准测试中全面领先。
@0xkeenz: 有意思,昨天刚好还在研究 Unsloth 和 NVIDIA 的 Qwen3.6 27B NVFP4 有什么区别,结果今天 Unsloth 就更新了! 新版 Unsloth 的量化思路和 NVIDIA 官方方案很类似:不再从 BF16 和 …
Unsloth 发布新版 Qwen3.6 27B NVFP4 量化方案,引入 FP8_E4M3 中间精度层并细化权重保护,在 24GB VRAM 上实现 2.5 倍速度提升,同时改进准确性和工具调用能力。
unsloth/NVIDIA-Nemotron-3.5-Bolt-E4B-GGUF
Unsloth 发布 NVIDIA Nemotron 3.5 Bolt E4B 的 GGUF 量化版本(Q4_K_M),这是一个基于 Gemma-4-E4B-it 进一步后训练的小语言模型(SLM),专为低内存、低首字延迟的本地语音助手与嵌入式/边缘设备场景优化。
unsloth/DeepSeek-V4-Flash-0731-GGUF
Unsloth 预告了即将在 Hugging Face 上发布的 DeepSeek V4 Flash GGUF 量化模型。