residual-streams

本文研究了编码智能体中的语言模型如何在迭代编辑过程中内部表示不断演变的程序。作者发现，线性探针可以从残差流中解码程序属性（例如解析、测试通过率），并且令人惊讶的是，这些表示在代理实际进行编辑之前就能预测未来结果，揭示了一个“潜在编程视野”。