@no_stp_on_snek: 微调现场笔记 小行为调整就像水床：按下一处，另一处就鼓起来。我训练了一个模型…

X AI KOLs Following 新闻
fine-tuning model-behavior alignment waterbed-effect

摘要

一位微调从业者观察到，调整模型的某一行为常常会导致其他地方出现意外变化，就像水床效应一样。修复对抗性拒绝问题在不知不觉中破坏了严格的格式遵守，随后的修复又导致了过度同意或过度拒绝。

微调现场笔记 小行为调整就像水床：按下一处，另一处就鼓起来。我训练了一个模型停止屈从于对抗性压力。它成功了，但也悄悄破坏了对严格格式的遵循能力。把主干部分往上推，它又开始过度拒绝。修复那个问题，它又变得什么都同意。那些你以为毫不相关的行为在模型内部却纠缠在一起。
查看原文
查看缓存全文

缓存时间: 2026/06/30 05:38

微调现场笔记

细微的行为调整就像一张水床：按下一处，另一处就会鼓起来。我训练了一个模型不再屈服于反对意见。它确实做到了，但同时也悄悄地破坏了它遵循严格格式的能力。把骨干网络往上推，它就开始过度拒绝。修复这个问题，它又开始全盘同意。那些你可能发誓互不相关的行为，在模型内部却纠缠在一起。

相似文章

@no_stp_on_snek: https://x.com/no_stp_on_snek/status/2074471505128305095

X AI KOLs Timeline

一位微调实践者讲述，他发现一个小型开源模型的弱点并非智力不足，而是一种讨好型人格的“骨架”，导致它在压力下屈服；而纠正这一点时，又意外破坏了其格式化能力，需要通过加法而非减法来平衡调整。