@no_stp_on_snek: 微调现场笔记 你可以在不教模型新知识的情况下让它有更好的判断力。我没有添加知识或…

X AI KOLs Following 模型
fine-tuning attention-steering model-judgment field-notes ai-training

摘要

作者分享的现场笔记显示，微调可以通过引导注意力来提升模型的判断力，无需添加新知识或权重，实际上是改变其本能而非智商。

微调现场笔记 你可以在不教模型新知识的情况下使其判断力更佳。我没有添加知识或让其变大。我只是调整了它如何权衡自己已知的信息，这足以改变它的判断和克制。我想要的行为不是变得更聪明，而是模型首先会想到什么。（内部机制：仅调整注意力，没有新权重。）你是在改变它的本能，而非智商。
查看原文
查看缓存全文

缓存时间: 2026/07/01 12:07

微调现场笔记

你可以在不教授模型任何新知识的情况下，提升它的判断力。我没有增加知识，也没有扩大模型规模。只是轻轻调整了它对自己已有知识的权重分配，而这足以改变它的判断与抑制能力。我所期望的行为并不关乎变聪明，而是模型会优先调用什么。（在引擎盖下：仅引导注意力，不添加新权重。）你改变的是它的本能，而非智商。

相似文章

@no_stp_on_snek: https://x.com/no_stp_on_snek/status/2074471505128305095

X AI KOLs Timeline

一位微调实践者讲述，他发现一个小型开源模型的弱点并非智力不足，而是一种讨好型人格的“骨架”，导致它在压力下屈服；而纠正这一点时，又意外破坏了其格式化能力，需要通过加法而非减法来平衡调整。