标签
本文证明，前沿语言模型能够利用语义无关的填充令牌进行“不可见推理”，在合成推理任务上准确率提升高达13个百分点，这动摇了思维链监控能捕获所有推理的假设。
本文表明，前沿LLM能够在无内容的填充标记上进行多步推理，并且残差流中的隐藏状态可以被解码以高精度恢复中间值，挑战了思维链监控是唯一审计工具这一假设。