@AI_jacksaku: GitHub本周黑马：Unsloth AI模型训练速度提升2-5倍， 显存占用减少80%。 这意味着什么？ 以前微调一个大模型， 需要A100集群+几万美金。 现在一张4090， 几小时就能搞定。 Unsloth做了什么？ 优化了注意力机…
摘要
Unsloth开源工具将大模型微调速度提升2-5倍、显存降低80%，使单张RTX 4090几小时完成原本需A100集群的任务。
GitHub本周黑马：Unsloth AI模型训练速度提升2-5倍， 显存占用减少80%。 这意味着什么？ 以前微调一个大模型， 需要A100集群+几万美金。 现在一张4090， 几小时就能搞定。 Unsloth做了什么？ 优化了注意力机制的计算， 减少了冗余的内存拷贝， 支持QLoRA、Flash Attention等新技术。
查看缓存全文
缓存时间: 2026/04/23 10:00
GitHub本周黑马：Unsloth AI模型训练速度提升2-5倍， 显存占用减少80%。 这意味着什么？ 以前微调一个大模型， 需要A100集群+几万美金。 现在一张4090， 几小时就能搞定。 Unsloth做了什么？ 优化了注意力机制的计算， 减少了冗余的内存拷贝， 支持QLoRA、Flash Attention等新技术。
相似文章
@berryxia: 我靠，肉眼都跟不上这个速度了！ Daniel Han，UnslothAI创始人，YC S24，之前在NVIDIA做ML，刚刚把Qwen3.6的实验MTP GGUF放出来了。 27B模型单GPU直接跑到140 tokens/s。 35B-A…
UnslothAI创始人Daniel Han发布了Qwen3.6的实验性MTP GGUF版本，在消费级GPU上实现27B模型140 tokens/s、35B-A3B版本220 tokens/s，速度提升1.4倍且精度零损失。
@h100envy: Daniel Han 创建了 Unsloth，这正是半数开源项目能在单张 GPU 而非集群上微调模型的原因。他还……
Daniel Han 构建了 Unsloth，该工具通过重写 GPU 内核，使单张 GPU 的微调速度提升 2 到 3 倍，让众多开源用户无需集群即可训练模型。
Unsloth Desktop
Unsloth Desktop 让用户可以在本地桌面上运行和训练 AI 模型，将微调和推理带到了个人电脑上。
@AI_Community_9: Unsloth Desktop把Qwen3.8 27B的体验推到了新高度。 开箱即用 + 跨平台，核心是把微调和推理的 显存杀到了极致（显存省 70%、速度快 2 倍）。 把“训练、推理、Agent 工具链”全塞进 一个免费开源的桌面端，…
Unsloth Desktop是一个免费开源的桌面应用程序，通过极致优化显存和速度，将训练、推理和Agent工具链集成在一起，显著提升了Qwen3.8 27B等AI模型的使用体验。
@xueyu1125: 想跑本地大模型，如果能达到 50 token/s，才比较可用 提供下顶尖模型 API 输出速度参考（Gemini Flash 300+） DeepSeek V4 Flash：99.5 token/s GPT-5.6 Sol：68.1 to…
讨论本地大模型运行所需的token速度标准，并提供了多个顶级AI模型的API输出速度对比。