标签
本文探讨了语言模型如何将角色的信念与现实分离,发现它们使用共享值槽来存储属性值,并在查询位置使用路由器来选择读取的框架(信念或现实)。它识别出断言信念和衍生信念的两条路径,并表明该值槽本身不携带信念-现实标签;分离存在于解耦的路由子空间中。
本文研究了 Transformer 语言模型如何通过值槽上的共享路由器机制实现多种心理空间(反事实、信念、虚构等),证明单个低秩子空间控制所有空间类型并驱动推理。