@hasantoxr：微调你自己的 LLM 现在变得超级简单。每个人都跟我说他们很想训练一个定制模型，但太难了……

X AI KOLs Timeline 工具
fine-tuning llm cli open-source machine-learning developer-tools

摘要

Soup 是一款新的 CLI 工具，将 LLM 微调简化到一条命令，提供聊天、代码、工具调用等模板，并支持分层流式加载，可在中等 GPU 上运行。

微调你自己的 LLM 现在变得超级简单 每个人都跟我说他们很想训练一个定制模型，但这太麻烦了。现在不再是这样了。 我刚发现一个叫 Soup 的工具。一个 YAML 配置。一条命令。搞定。 不需要 SSH。没有基建地狱。不用花 4 小时折腾批量大小。全自动。 完整设置如下： 1. pip install 'soup-cli[train]' 2. soup init --template chat 3. soup train 4. soup chat --model ./output 就这样。你现在就拥有了自己的微调模型。 8GB 显存跑 7B，16GB 跑 14B，如果你有一台性能强劲的设备，可以跑 70B。 现成模板适用于聊天、代码、工具调用、医疗、推理、视觉、RLHF 等十多种场景。 将其导出为 GGUF，在 Ollama 中运行，推送到 HuggingFace，随你选择。 如果你在 2026 年构建任何 AI 产品，却仍然直接使用别人的基础模型，那你就是在浪费 90% 的价值。 训练自己的模型。拥有权重。发布产品。 https://github.com/MakazhanAlpamys/Soup…
查看原文
查看缓存全文

缓存时间: 2026/08/10 23:37

Soup

一个命令即可微调和后训练 LLM。无需 SSH，无需配置地狱。

网站 · 快速开始 · 配置 · 文档 · 命令 · 模型 · Discord

在 4 GB 显存的 RTX 3050 笔记本上，使用 Llama-3.1-8B-Instruct + NF4、LoRA、batch 1、seq 512——峰值显存 3.32 GB，119.6 tok/s。完整视频（90秒）

相似文章

Show HN：在 4 GB 笔记本 GPU 上微调 8B 模型

Hacker News Top

Soup 是一个开源命令行工具，通过单条命令简化 LLM 的微调和后训练，支持基于 QLoRA 的训练，通过逐层流式传输仅需 4 GB 显存即可在消费级 GPU 上运行。最新版本新增了 DPO、ORPO、SimPO 和 KTO 等偏好损失，且不会使内存需求翻倍。