centered-kernel-alignment

本文通过对17个指令微调模型进行中心化核对齐（Centered Kernel Alignment, CKA）和激活补丁分析，表明系统提示在每一层都会被模型“感知”，但只有人格设定和格式类指令才会深度重构模型的表征；安全类提示几乎不会改变模型的计算过程，这从机制层面解释了为何基于系统提示的安全防护仍然容易被越狱破解。

本文通过考察来自8个家族的16个语言模型在800个推理问题上的表现，探究了Platonic Representation Hypothesis。研究发现，虽然模型在内部表征上趋于一致，但在推理过程中，尤其是决策后阶段，它们出现分歧，而且共享的表征对预测的因果影响极小。