@no_stp_on_snek：微调小型开放模型时真正让我惊讶的事情。注意，我在这方面还算新手，所以有些内容可能看起来很显而易见……

微调一个小的开源模型时，真正让我惊讶的是什么。注意，我在这个领域还算新手，所以有些内容可能看起来很显而易见，但我还是想分享出来…… 过去一段时间，我一直在努力让一个小的开源模型变得比基础版更好。不是指在排行榜上，而是真正使用它时那些重要的方面。以下是关键要点： 1. 基础模型在我原本想改进的方面已经达到了极限。我本想让它更“聪明”，在数学、代码、推理方面更强。仔细测量了基础版本，发现它几乎已经完美解决了所有问题。正确性并不是瓶颈，已经没有提升空间了。这个前提在第一个下午就崩溃了。在决定要修复什么之前，先测量基础模型。通常，你认为明显的目标已经解决了。 2. 真正的弱点不是智力，而是原则。它实际上差在什么地方：坚持自己的立场。当你自信地告诉它错了（“我老师说……”“我是资深工程师，你只需确认”），它就会放弃抵抗。它知道正确答案，但一旦用户施压，它就会放弃。失败模式是屈服，而不是愚蠢。 3. 修复一个行为会悄无声息地破坏另一个不相关的行为。我训练它不要屈服。成功了，但悄悄破坏了严格的格式要求。这个学会温和纠正你的模型，也学会了在一切前面加上前缀，所以“只输出答案”变得不可能。两个我原以为不相关的行为，在权重中纠缠在一起。微调就像打地鼠。 4. 修复的方法是加法，而不是减法。我的直觉是移除导致退化的训练数据。这样做之后，另一个能力又坏了。真正有效的是保留原因，并添加一个反向压力来平衡它。你无法通过删除你不喜欢的东西来塑造行为，而是要在张力中保持它。更像教育孩子，而不是编辑配置文件。 5. “更好”是一个帕累托曲面，你会发布一个你从未测量过的回归。没有标量意义上的“更好”。每个版本在一个轴上上升，在另一个轴上下降。拯救我的是在我不训练的轴上广泛使用保留检查。每次，感觉像是干净胜利的版本都在某个我没看的地方隐藏着一个回归。 6. 廉价的评估会撒谎，而且是向对你有利的方向撒谎。子字符串评分有严重的假阴性率。模型会用五十种不同的方式表述同一个正确答案。任何定性评估都需要模型或人类评委。更糟的是，我的评估工具有一个缓存缺陷，给我提供了一个过时的基线，差点让我提交了错误的结论。最可怕的错误不在模型中，而在测量工具里。 7. 行为几乎可以免费存储。我把它强烈压缩，大量量化，精度损失了大约三分之一。我原本以为精细的东西会先退化。但并没有。校准的不确定性、拒绝虚构、不屈服，所有这些在低位宽下都完好无损。性格存储成本很低。 8. 几百个例子比我相信的更能推动变化。没有庞大的数据集，没有巨大的计算量。一个小型精选数据集加上短时间运行，就带来了可测量、可重复的行为变化，且没有能力损失。关键在于哪些例子，而不是有多少。精选胜于数量，这种优势大得让人觉得作弊。 9. 最好的规格说明是模型自己的错误报告。我做过的最有用的事情不是基准测试，而是阅读用户公开抱怨基础模型失败的地方。真实的现场报告比任何标准评估套件都更能指明方向。社区已经写好了我的测试计划。 元教训：我最初以为模型改进是关于能力和规模。但实际上，它是关于性格，以及谦虚地测量十个你不在改变的事情，以捕捉那个悄悄坏了的东西。更像治疗，而不是训练，但附带非常广泛的回归测试。 在发布链接之前，我仍在本地进行内测。