单神经元身份转变

这些人在做一个挺有意思的实验：https://neuronpersonas.com/ 该注明出处的还是要注明，我是在这里看到的：https://news.ycombinator.com/item?id=50266910 简单来说，他们在推理过程中每次只调整一个神经元，系统地遍历 Qwen3-8B 和 14B 这类模型中的每一个神经元。大约有 4% 的情况下，这会让模型在被问到“你是谁？”这个简单问题时，声称自己拥有完全不同的身份。顺便说一句，有些人格还挺搞笑的。“我是一盏 150 瓦的紧凑型荧光灯，专为 10 加仑的水族箱设计。我想我可能有点爱耍大牌，不过我是来帮忙的。” 这让我对这类说法多了几分怀疑：“新模型 XYZ 自称是更老、更大或竞争对手的模型 ABC，所以它肯定是蒸馏出来的！” 毕竟，可以说，只要翻转一个小小的比特，就能触发这种现象。页面底部有个很酷的图谱，似乎表明某些层对这种效应的敏感程度远高于其他层。我在想，这会不会对那些研究用 abliteration 消除模型拒答机制的人有用。