标签
本文识别了多模块LLM代理中的'诊断悖论'：对于失败因果性责任最大的模块（路由模块）并非最佳干预点，修补该模块反而可能损害性能。作者提出'语言契约'假说，并在三个代理系列中展示了实证证据。
本文研究了LLM-as-a-judge的内部机制，发现模型在中期到后期的多层感知机（MLP）中共享一个稀疏的潜在评估器子图，该子图处理抽象评判，而格式特定的终端分支将评判映射到输出令牌，揭示了格式导致的不一致性的原因。
本文提供因果证据表明自回归语言模型中的幻觉源于由非对称吸引子动力学驱动的早期轨迹承诺。通过在Qwen2.5-1.5B上进行同提示分叉和激活补丁实验，证明幻觉轨迹在首个token处分叉，并在模型各层间展现强烈的因果非对称性。