@UnslothAI: 我们很高兴地宣布 Unsloth 已加入 PyTorch 生态系统!Unsloth 是一个开源项目,能够让训…
摘要
Unsloth 是一款用于高效 LLM 训练和推理的开源库,现已正式加入 PyTorch 生态系统,以提升易用性和性能。公告重点介绍了 Unsloth Studio 等新功能以及优化后的内核,可降低 VRAM 使用量。
查看缓存全文
缓存时间: 2026/05/11 16:44
我们很高兴地宣布,Unsloth 已正式加入 PyTorch 生态系统!
Unsloth 是一个开源项目,致力于让模型训练与推理速度更快、精度更高,同时降低算力需求。我们希望让每个人都能轻松使用 AI。
博客:https://t.co/viXIukVHnU GitHub:https://t.co/aZWYAtakBP https://t.co/7DBBpeyIot
Unsloth 加入 PyTorch 生态系统
来源:https://unsloth.ai/blog/pytorch Unsloth 加入 PyTorch 生态系统
2026年5月11日 • 作者:Daniel & Michael
2026年5月11日
•
作者:Daniel & Michael
我们很高兴地宣布,Unsloth (https://github.com/unslothai/unsloth) 已正式加入 PyTorch 生态系统!在 Unsloth,我们的使命是让每个人都能更轻松地使用 AI。也许你是通过我们的模型上传、GGUF 格式、底层内核、教程指南、模型 Bug 修复、训练与强化学习 (RL) 库,或是我们的全新 Web UI——Unsloth Studio 了解到我们的。无论以何种方式发现 Unsloth,我们的使命始终如一:通过让开源模型更精准、更快速、更简单、更易用,来推动 AI 的普及。
在 2026 年第一季度,PyTorch 将 Unsloth (https://pytorch.org/blog/pytorch-ecosystem-landscape-q126/) 纳入了 PyTorch 生态系统图谱,重点展示了我们的工作、与 PyTorch 的集成、对开源 AI 的贡献,以及社区给予的鼎力支持。我们非常期待能与 PyTorch 团队更紧密地合作,为大家带来更多优质的开源成果!
🦥 什么是 Unsloth?
为了让大家快速了解 Unsloth 究竟是什么以及我们是谁,我们的主仓库 Unsloth (https://github.com/unslothai/unsloth) 主要用于本地训练和运行 LLM。它深度整合了 PyTorch、torchvision 和 torchao 等多个 PyTorch 框架,为 Unsloth 的训练与推理提供标准化、可靠的基础设施。
我们最新发布的 Unsloth Studio (https://unsloth.ai/docs/new/studio) 是一款开源 UI(桌面客户端即将推出),支持在 Windows、Mac 和 Linux 设备上通过统一界面训练和运行 500 多个模型(如 Gemma 4、Qwen3.6 等)。Unsloth Studio 支持多种工作负载,包括:从 PDF 和 CSV 文件构建数据集、导出模型、具备自修复能力的工具调用、网页搜索、API 端点等。你可以通过一条命令 (https://unsloth.ai/docs/new/studio#macos-linux-wsl) 在此处安装它。
你可能主要在 Hugging Face (https://huggingface.co/unsloth) 上见过我们上传的模型 (https://unsloth.ai/docs/models/tutorials)。我们上传了大量量化格式,包括 GGUF、MLX、NVFP4、FP8、Bnb 4-bit 等多种模型变体。我们量化工作的核心目标是:即使在量化后,也能尽可能保留模型的精度。我们上传的所有模型均可用于推理,部分模型也支持训练。
我们不仅专注于文本 LLM,还支持 VLM、Embedding、音频、TTS、OCR 等模型。我们还进行了大量底层优化工作,包括定制 Triton kernels。借助 Unsloth 独有的优化,模型训练速度可提升约 2 倍,显存占用减少 70%,且精度零损失。
我们还在众多开源模型中贡献了修复代码 (https://unsloth.ai/docs#why-unsloth),涵盖 Gemma、Qwen、Mistral、Llama 和 gpt-oss 等。此外,我们还协助修复训练相关的 Bug,例如之前我们发现并修复了梯度累加 Bug (https://unsloth.ai/blog/gradient),该 Bug 曾影响几乎所有一线训练框架,导致报告的训练损失值不准确。
🔥 与 PyTorch 的合作
我们已有机会与 PyTorch 团队合作开展多个令人兴奋的项目。在此衷心感谢 PyTorch 团队的努力,让这些合作得以实现。
双方共同推出了面向消费级显卡的 FP8 RL (https://unsloth.ai/docs/get-started/reinforcement-learning-rl-guide/fp8-reinforcement-learning) 方案,使 FP8 RL 推理速度提升 1.4 倍,同时 FP8 RL 训练的显存占用降低 60%,并支持长达 12 倍的上下文长度。
我们还展示了如何结合 ExecuTorch 与 Unsloth GGUF,在手机端运行 LLM (https://unsloth.ai/docs/basics/inference-and-deployment/deploy-llms-phone)。在另一项合作中,我们演示了如何通过量化感知训练 (QAT) 将 LLM 量化至 4-bit,并恢复高达 70% 的精度损失 (https://unsloth.ai/docs/blog/quantization-aware-training-qat)。借助 PyTorch,我们验证了 QAT 能带来显著的效率提升:显存占用降低 4 倍,推理无额外开销,甚至在 GPQA 和 MMLU Pro 等基准测试中原始精度提升了 1–3%。
我们还与 PyTorch 合作开发了 OpenEnv,并与 AMD 和 Hugging Face 联合举办黑客松,专注于构建更优的 RL 环境。在所有这些合作中,我们的目标始终如一:让开源 AI 对每个人来说都更易获取。
💡 加入生态系统意味着什么?
PyTorch 生态系统图谱展示了基于 PyTorch 构建的开源项目,并根据技术优势、社区影响力以及与 PyTorch 使命的一致性进行认可。过往入选该项目包括 Hugging Face Transformers、SGLang、vLLM 等许多优秀项目。
对 Unsloth 而言,加入 PyTorch 生态系统是一个令人振奋的里程碑。这将帮助我们触达更多 PyTorch 社区成员,并为我们提供更丰富的资源、支持与合作机会。
除此之外,一切照旧。我们将继续构建开源项目,发布新功能、新模型、性能优化、Bug 修复、桌面客户端,并支持更广泛的硬件——同时继续保持倾听大家的反馈。当然,你们的贡献始终是我们构建的一切中不可或缺的一部分。
💕 社区
感谢大家的支持,Unsloth 现已成为 Hugging Face 上关注人数排名第 10 的组织,仅次于 OpenAI。我们的模型下载量已突破 2.5 亿次,并拥有超过 200 位优秀的 GitHub 贡献者。没有大家的支持,这一切都不可能实现。
我们要感谢每一位使用或支持 Unsloth 的用户,无论你们是通过 Unsloth Studio、我们的训练包、量化模型、模型上传、Bug 修复、反馈还是代码贡献参与其中。
我们非常期待继续为开源事业贡献力量,并迫不及待想很快与大家分享更多激动人心的新闻和产品发布。感谢 PyTorch、Hugging Face 和 llama.cpp 让 Unsloth 成为可能。🙏
欢迎加入我们的 Reddit 页面 (https://www.reddit.com/r/unsloth/) 和 Discord 服务器 (https://discord.gg/unsloth) 获取帮助或表达支持!你也可以在 Twitter (X) (https://x.com/unslothai) 关注我们的最新动态,并订阅我们的 Substack 通讯 (https://unslothai.substack.com/)。
感谢阅读!
Daniel & Michael 🦥 2026年5月11日
相似文章
@akshay_pachaar:PyTorch Autograd 与 Unsloth Triton 内核对比。UnslothAI 背后的核心工程一直令人印象深刻!它并未……
技术解析:对比 PyTorch 默认的 autograd 与 UnslothAI 使用 OpenAI Triton 语言编写的自定义反向传播内核,以实现更高效的 LLM 微调。
Unsloth 现已支持 AMD!
Unsloth,这个高效的 LLM 微调库,现已支持 AMD GPU,扩展了硬件可访问性。
unslothai/unsloth
Unsloth推出了一款桌面应用程序,让用户可以在自己的硬件上本地运行、训练和部署AI模型,支持多种模型类型和工具。
Unsloth 登陆 Apple Silicon - 预公告
Unsloth,一款流行的 LLM 微调库,宣布即将支持 Apple Silicon 设备,将其优化能力扩展至 NVIDIA GPU 之外。
Unsloth Desktop
Unsloth Desktop 让用户可以在本地桌面上运行和训练 AI 模型,将微调和推理带到了个人电脑上。