causal-analysis

本文提供因果证据表明自回归语言模型中的幻觉源于由非对称吸引子动力学驱动的早期轨迹承诺。通过在Qwen2.5-1.5B上进行同提示分叉和激活补丁实验，证明幻觉轨迹在首个token处分叉，并在模型各层间展现强烈的因果非对称性。