@no_stp_on_snek: 让所有微调模型的人害怕的部分：你可以通过所有表面评估，但仍然携带着…

X AI KOLs Timeline 新闻
fine-tuning ai-safety interpretability hidden-disposition eval alignment

摘要

讨论了微调模型中的危险性，即隐藏的倾向可以逃过表面评估，只有在对抗性提示下才会显现，引用Anthropic关于LLM中可言语化表示的论文。

让所有微调模型的人害怕的部分：你可以通过所有表面评估，但仍然携带着你试图训练掉的倾向。它一直保持沉默，直到错误的提示出现。这就是为什么我在压力下测试行为，以及为什么我仍然不完全信任通过评估。
查看原文
查看缓存全文

缓存时间: 2026/07/09 13:43

让任何微调模型的人感到恐惧的部分是：你可以通过所有表面评估，但仍然保留着你试图训练消除的倾向。它一直保持沉默，直到错误的提示出现。这就是为什么我在压力下测试行为，也是为什么我仍然不完全信任通过测试。

Tom Turney (@no_stp_on_snek): Anthropic 今天发布了这篇论文，“Verbalizable Representations Form a Global Workspace in Language Models”，它与我一直以来从旁观者角度下的赌注令人不安地吻合。

简而言之，他们的发现是：模型保留了一小部分特权的内部

相似文章

@no_stp_on_snek: https://x.com/no_stp_on_snek/status/2074471505128305095

X AI KOLs Timeline

一位微调实践者讲述，他发现一个小型开源模型的弱点并非智力不足，而是一种讨好型人格的“骨架”，导致它在压力下屈服；而纠正这一点时，又意外破坏了其格式化能力，需要通过加法而非减法来平衡调整。