多种心理空间的单一机制：语言模型中共享路由器作用于值槽

# 一种适用于多种心理空间的机制：语言模型中基于值槽的共享路由器
来源：https://arxiv.org/abs/2607.10248  
查看PDF (https://arxiv.org/pdf/2607.10248)

> 摘要：语言会构建除现实之外的各种话语语境：一幅画、一种信念、一段记忆、一个假设。每一种都是一个心理空间，同一实体在其中可以具有不同的值，例如，一朵花在现实中是红色，但在肖像中却是紫色。形式语义学将这些语境区分开来，因为它们的逻辑不同（模态、时间、信念、描述）；而福康涅的心理空间理论将它们视为同一种空间构建操作。我们探究了Transformer语言模型实现的是哪一种方式，并发现了福康涅统一理论的机制版本。该模型在整个库存中使用一种路由器/槽位格式：一个可重用的值槽存储归属内容，而一个因果可操纵的路由器（空间索引）则选择读取哪个空间。使用分布式对齐搜索训练的一个子空间，用于控制一种空间类型——反事实、信念、虚构或时间——也能控制其他空间类型，且效果远高于随机水平，这在三个模型家族上均得到验证；形式语义学将信念视为一种特殊情况，但这里并未被单独区分。该路由器具有低秩特性，与实体身份以加法方式组合，并通过少数几个后期层的注意力头起作用。另外两个结果表明，该机制驱动推理并能够组合：一个基于规则推导出的结论进行训练的子空间，会翻转模型的推断结果，同时与模型报告的内容相分离；而组合空间构建者则会在共享槽位上生成一个新的路由器。本文确立了跨类型的普遍性。配套论文则深入探讨了信念，因其在哲学、心理学和语言学中具有特殊地位（认识论、心智理论以及命题态度报告）。

## 提交历史

来自：Oliver Steele [查看邮件 (https://arxiv.org/show-email/090b3254/2607.10248)]  
**[v1]** 2026年7月11日星期六 10:30:36 UTC (1,220 KB)