@maximelabonne：小型决策模型经过微调后可以表现得极其出色。我们试用了 d1-omni-600M，它在……上能碾压任何模型

X AI KOLs Following 新闻
fine-tuning decision-models small-models unsloth huggingface trl efficiency

摘要

Maxime Labonne 指出，像 d1-omni-600M 这样的小型决策模型在经过微调后可以非常高效。Leonie 分享了使用 Unsloth 和 Hugging Face TRL 在免费 GPU 上用 30 分钟微调 d1-3B 决策模型的笔记本。

小型决策模型经过微调后可以表现得极其出色。 我们试用了 d1-omni-600M，它在你用于训练的游戏和格式（状态、输入）上能碾压任何模型。
查看原文
查看缓存全文

缓存时间: 2026/10/17 04:47

经过微调，小型决策模型的表现可以好到离谱。

我们试用了 d1-omni-600M，在你用于训练的游戏和格式（state, input）上，它能碾压任何模型。

leonie (@helloiamleonie): 如何用自己的数据微调决策模型？

在这两个 notebook 中，你将学会： • 如何准备训练数据 • 如何微调我们的 d1-3B 决策模型 • 使用 @UnslothAI 和 @huggingface TRL

全程在免费 GPU 上 30 分钟内完成。

unsloth:

相似文章

微调后的 d3-edge（0.6B）优于 d3（27B）决策模型

Reddit r/LocalLLaMA

一个拥有 6 亿参数的 d3-edge 模型，在数千个示例上通过 SFT + LoRA 进行微调后，在类型化决策任务上超越了拥有 270 亿参数的 d3 决策模型，并在 Banking77 上取得了几乎与之持平的表现，凸显了微调小型专用模型相较于使用大型通用模型的价值。