标签
Anthropic的研究论文揭示了LLM中存在一个涌现的内部工作空间，推理在输出之前发生，一位开发者构建了一个实时查看工具（Subtext）来观察这一过程，从而平息了关于LLM是否真的在思考的争论。
本文介绍了词汇对齐稀疏自编码器（VASAE），该方法在词汇对齐锚定下训练SAE特征，基于最近令牌嵌入为每个特征分配内在令牌名称，在早期层实现高对齐而不降低重建质量。
本文揭示了交错式语音-文本语言模型在中间层隐式地将语音转录为文本，然后在文本空间中进行预测，再转换回语音，揭示了内部模态交互机制。
提出了Bag of Dims框架，表明Transformer隐藏状态的标准基提供了一种无需训练、架构通用的特征表示，其中维度通过符号模式编码语义内容；在语言、视觉和音频模型上得到验证，无需学习旋转即可实现高精度。
提出了 MechRL，一种利用强化学习自动发现 transformer 语言模型中电路的方案。经过多任务训练的 PPO 代理发现了与已知典型电路匹配的注意力头电路，并能泛化到一项保留任务上。
本文确定了Möbius吸引子和级联监督是Transformer中叠加推理出现的关键机制，填补了图可达性任务中梯度下降收敛的理论空白。
新预印本《Mathematics is All You Need 2》提出了“双通道定理”，证明 Transformer 残差流中的行为纤维在不同架构（从 Qwen 到 Llama）间具有符号稳定性且可因果操控。该研究声称具有高可复现性，并显示行为基底接近一维，从而将生成过程与潜在结构分离开来。
这篇研究论文利用信息论分析了大型视觉-语言模型（LVLM）的内部机制，揭示了注意力机制可能存在冗余，而前馈网络才是推动语义创新的关键。作者证明，将学习到的注意力权重替换为随机值仍可获得相当的性能，这表明当前模型“在注意力中迷失”。