Show HN：在 4 GB 笔记本 GPU 上微调 8B 模型

Hacker News Top 工具
fine-tuning llm open-source cli qlora layer-streaming preference-optimization

摘要

Soup 是一个开源命令行工具，通过单条命令简化 LLM 的微调和后训练，支持基于 QLoRA 的训练，通过逐层流式传输仅需 4 GB 显存即可在消费级 GPU 上运行。最新版本新增了 DPO、ORPO、SimPO 和 KTO 等偏好损失，且不会使内存需求翻倍。

暂无内容
查看原文
查看缓存全文

缓存时间: 2026/08/04 13:45

Soup

一条命令微调和后训练LLM。无需SSH，无需配置地狱。

网站 · 快速开始 · 配置 · 文档 · 命令 · 模型 · Discord

相似文章

如果GPU能跑推理，那也应该能微调。[P]

Reddit r/MachineLearning

USAF（超稀疏自适应微调）是一种新方法，允许在消费级GPU（包括AMD硬件）上微调MoE模型，仅需12GB VRAM。与无法做到的LoRA/QLoRA不同，USAF只训练最重要的稀疏权重和路由器。

单GPU微调的高效异构协同设计

Papers with Code Trending

SlideFormer 提出了一种异构协同设计，用于在单GPU上进行全参数LLM微调，利用GPU/CPU/RAM/NVMe及其层滑动引擎和优化的Triton内核，在单张RTX 4090上实现对123B+模型的微调，吞吐量显著提升。