@0x0SojalSec: 想象一下，在Kaggle上免费微调一个31B参数的多模态模型。现在你可以训练这个庞大的31B密集型多模态模型……

X AI KOLs Timeline 工具
fine-tuning multimodal quantization kaggle open-source efficient low-vram

摘要

Unsloth 使得在Kaggle上免费微调31B参数的多模态模型成为可能，采用4位量化，本地运行仅需22-24GB VRAM。

想象一下，在Kaggle上免费微调一个31B参数的多模态模型。 现在你可以训练这个庞大的31B密集型多模态巨兽，采用高效的4位量化（文本、图像、音频），无需在GPU上烧钱。 非常适合定制代理、领域特定模型或更高层次的实验。 你甚至可以在本地仅用22-24GB VRAM运行它。 定制代理、视觉任务或你自己的数据，全部解锁。 无论你是构建专门的助手，还是推动开放模型的边界 对研究人员来说是游戏规则的改变者 更快的训练，更低的内存，完全控制。 - http://kaggle.com/code/danielhanchen/gemma4-31b-unsloth…
查看原文
查看缓存全文

缓存时间: 2026/06/20 14:37

想象一下，在Kaggle上免费微调一个310亿参数的多模态模型。

现在，您可以使用高效的4位量化（文本、图像、音频）来训练这个庞大的31B密集多模态模型，无需在GPU上烧钱。

非常适合定制代理、领域专用模型或进行前沿实验。

您甚至可以在仅22-24GB显存的情况下本地运行它。 定制代理、视觉任务或您自己的数据，全部解锁。

无论您是在构建专用助手，还是在推动开放模型的边界

对研究人员来说，这简直是改变游戏规则的利器。 更快的训练、更低的内存占用、完全掌控。

  • http://kaggle.com/code/danielhanchen/gemma4-31b-unsloth…

相似文章

Show HN：在 4 GB 笔记本 GPU 上微调 8B 模型

Hacker News Top

Soup 是一个开源命令行工具，通过单条命令简化 LLM 的微调和后训练，支持基于 QLoRA 的训练，通过逐层流式传输仅需 4 GB 显存即可在消费级 GPU 上运行。最新版本新增了 DPO、ORPO、SimPO 和 KTO 等偏好损失，且不会使内存需求翻倍。

如果GPU能跑推理，那也应该能微调。[P]

Reddit r/MachineLearning

USAF（超稀疏自适应微调）是一种新方法，允许在消费级GPU（包括AMD硬件）上微调MoE模型，仅需12GB VRAM。与无法做到的LoRA/QLoRA不同，USAF只训练最重要的稀疏权重和路由器。