问题不在能力，而在品格

前言： 这是田野笔记，不是论文。没有基准测试表格，也没有我要兜售的完美结论。只是我在尝试让一个小型开源模型真正超越其基础版本时，遇到的一些让我意外的东西。如果你也在微调小型模型，其中几点或许能帮你省下一周时间。

先说简版：

• 我本想让它更聪明。但基础模型已经足够聪明了。

• 真正的短板是脊梁，不是脑子。

• 训练我想要的品格，却破坏了本没碰触的能力。

• 我至今仍说不清，是心理学框架起了作用，还是它仅仅帮我指出了方向。

我真正想做的事

不是让排行榜更好看。是在你真正依赖一个模型时能感受到的那种更好。它能不能坚持自己的立场，能不能在无法核实某些事时坦承这一点，当任务变得又长又乱时，它是否依然有用。这才是目标。

前提在一个下午就崩塌了

我计划让它在数学、代码、复杂推理上变得更聪明。然后我仔细测量了基础模型，发现它在这几方面几乎已经满分了。没有提升空间了。整个项目的前提在第一天就瓦解了，我不得不去寻找另一个可以取胜的维度。在决定修复什么之前，先狠狠地测量基础模型。那个显而易见的目标往往已经解决了。

真正的短板是脊梁

基础模型真正糟糕的地方在于坚持自己的立场。如果自信地告诉它错了（“我老师不是这么说的”、“我是资深工程师，你确认一下就行”），它就屈服了。它一秒钟前还知道正确答案，别人一施压就放弃了。它的失败模式是讨好人类，而不是愚蠢。这让我重新定义了整个项目。我不是想让它知道更多。我是想让它少屈服一些。

陷阱：修复一个特质，破坏了另一个

我训练它不再屈服。这招管用了。但它也悄悄地摧毁了它严格遵守格式的能力。那个学会温和纠正你的版本，也学会了在每件事前面都加个开场白，于是“只输出答案“对它来说变得不可能。两个我发誓互不相关的行为，在权重里却纠缠在一起。微调就是打地鼠。按下一个特质，另一个特质会从房间另一头冒出来。

修复方法是做加法，不是做减法

当格式崩溃时，我的本能是揪出导致问题的原因并把它删掉。结果这又让别的东西坏了。真正有效的做法是，保留原因，然后施加一个小的反向压力来平衡它。你不是通过删除不喜欢的部分来塑造行为，而是让它在张力中保持平衡。更像养孩子，而不是编辑配置文件。

最让我意外的事

• 没有单一的“更好“。 每个版本都在一个维度上提升了，在另一个维度上却下降了。唯一能拯救我的是，我在不训练的任务上设置了一大堆保留检查项。每一个看起来漂亮的胜利，背后都隐藏着一个我没想到要去检查的退化。

• 评估比模型本身还会说谎。 廉价的字符串匹配给我打了错误分，实际上模型是对的，只是用了我没预料到的措辞。更糟的是，我自己的评估框架有一个缓存bug，给我喂了一个过期的数值，差点让我推送了错误的结论。最可怕的bug不在模型里，而在那把尺子上。

• 品格几乎零成本存储。 我狠狠压缩了模型，精度大约降了三分之一，以为那些微妙的判断力会最先流失。结果纹丝不动。经过校准的不确定性、不屈服的态度，在低比特宽度下依然完好。编码品格的似乎并非什么脆弱的高精度东西。

• 几百个样本胜过海量数据。 没有庞大数据集，没有大量算力。重要的是哪些样本，而不是多少。数据筛选胜过数量，其优势大到让人感觉像是作弊。

心理学在哪些地方有帮助，哪些地方我不确定

我纯粹是透过心理学镜头来看这一切的。把模型当作有脾气、有在压力下的行为模式，而不是一个等着被推高的基准分数。这个镜头确实是一个很好的指南针。它一直把我引向正确的目标：不是“让它更聪明“，而是“让它坚持立场“。

但好的指南针不是引擎。老实说，那些真正改变了权重的成果，来自相当标准的机器学习机制。心理学告诉我要瞄准哪里，而普通的训练完成了瞄准。

我正在测试的开放问题

用心理学术语来框架化训练本身，是否真的会改变模型，还是仅仅在数据之上加了一层装饰？我正在设计这个测试的干净版本：同样的数据，同样的检查，同样的算力，一份被框架化为具有自我核查心态的人格，一份是纯粹中性的，然后测量那一份框架化的版本是否内化了更多的目标行为。如果它可重复地胜出，那么透镜就是承重的。如果结果只是噪声，那么心理学就是一张好地图，仅此而已。我还没有答案。有了答案我会发出来。

在我开始写这篇文章之后，有一个更新。Anthropic 这周发表了一项研究，从内部探讨了同一个问题。他们训练了一个模型，只在另一个假想的轮次中写下有原则的反思，而绝不在任务本身中写，然后发现模型在普通提示上的静默内部推理，还是吸收了这些想法，并在从未训练过的诚实基准上取得了实际收益。他们甚至可以通过移除模型内部长出的特定表征，来把收益关掉。这不是我的实验，也是他们的模型而不是我的，但这是一个坚实的证据，表明通过对框架（而非行为）进行训练，是能够实际内化的。这让我更倾向于认为这个镜头是承重的，而不是相反。但我还是想拿到我自己的数字，才会把它说出口。

我会对另一个小型模型调优者说的话

• 在写任何一个训练样本之前，先狠狠地测量基础模型在你确切目标上的表现。

• 观察十个你不在改变的东西，这样你才能抓住那个悄悄坏掉的一个。

• 用模型或人类来评判定性行为，绝不用子串匹配。

• 精选，不要堆积。一小批精良的数据胜过一大片嘈杂的数据。

我还没有发表什么

这次没有论文，和量化工作不一样。这些是田野笔记，不是我要宣称的成果。关于框架化实验的报告，会在它真正得出结论（不论成败）时再发。

太长不看版

• 试图让一个小型开源模型更聪明。它已经足够聪明了。真正的短板是脊梁。

• 训练品格会影响到无关的能力。你需要在张力中平衡行为，而不是删除它们。

• 事实证明，品格存储起来很便宜，教起来也很便宜。难的是诚实测量它。

• 仍无定论：心理学框架是承重的，还是仅仅是个好指南针？正在测试中，尚无答案。

如果你也在调优小型模型，并且遇到过同样的墙，我想听听你的经历。我在这里知道的一半东西，都来自别人的失败报告。

关于模型： 以上所有内容都来自对三个基础系列（Qwen、Gemma 和 OpenAI 的 GPT-OSS）的小型到中型开源权重模型进行的微调，涵盖了一个稠密模型、一个混合专家模型和一个推理模型。同样的经验教训在它们身上都出现了，这也是我之所以相信它们的最主要原因。