微调后的 d3-edge（0.6B）优于 d3（27B）决策模型

Reddit r/LocalLLaMA 新闻
fine-tuning small-models lora sft model-comparison vllm decision-models

摘要

一个拥有 6 亿参数的 d3-edge 模型，在数千个示例上通过 SFT + LoRA 进行微调后，在类型化决策任务上超越了拥有 270 亿参数的 d3 决策模型，并在 Banking77 上取得了几乎与之持平的表现，凸显了微调小型专用模型相较于使用大型通用模型的价值。

我采用了 vLLM-SR d3-edge（0.6B），使用简单的 SFT + LoRA 对其进行微调，并将其与规模大得多的 d3（27B）进行了比较。仅用几千个训练样本，0.6B 模型在类型化决策任务上的表现竟然超过了 27B 模型，在 Banking77 上也几乎与之持平。我坚信，我们应该微调小型、专用的决策模型，而不是每项任务都使用大型通用模型。Colab - https://colab.research.google.com/drive/1wze4PA3GBrxRLYhzzFK7czlmvAgRdA9P?usp=sharing
查看原文

相似文章

微调陷阱：评估负迁移与PEFT在Sub-1B数学推理中的作用

arXiv cs.LG

本文对Sub-1B模型在数学推理任务上进行了基准测试，揭示全量微调会主动损害300M参数以下模型的性能，而LoRA和DoRA等参数高效微调（PEFT）则提供了稳定性。作者建议对所有对齐的Sub-1B模型默认使用PEFT，并警告不要对小于500M参数的架构使用全量微调，以防止灾难性遗忘。