@Propriocetive: 新预印本：《Mathematics is All You Need 2》—— Transformer 残差流中的符号稳定行为纤维。头条结果……

新预印本：《Mathematics is All You Need 2》—— Transformer 残差流中的符号稳定行为纤维。头条结果：在 Qwen-2.5-7B 上训练的线性探针方向，能够对 Hermes-3-Llama-3.1-8B 进行因果操控，在 29 个保留提示词上产生严格单调的响应。中位 Spearman ρ = 1.000。在一个架构中发现的探针方向，与结构截然不同的另一架构的行为之间存在因果关系——而不仅仅是相关性。研究方法已预先注册。决策规则在任何测试运行前已提交至磁盘。包括四项终止测试、六项零级锁定实验、来自 10,000 次重采样的 BCa 引导置信区间、p < 10⁻⁴ 的置换检验，以及针对全部 75 个探针-层对进行的多重比较 Bonferroni 校正。仅需单张 RTX 5090 显卡，约九小时的墙面时间，完整可复现性清单。 四项预先注册的测试： T1 跨架构保留：在 10 个种子下，跨越 75 个探针-层对的平均值为 0.749，95% 置信区间 [0.747, 0.758]。通过。 T2 基底特异性：富有成效地失败——典范 Killing 基底、随机正交旋转和单位投影的保留率均在 0.006 内一致，因此与架构无关的对象是 SVD 子空间本身，而非其中的任何特定基底。100 次随机旋转给出 σ = 0.0096。 T3 原始残差基线：K1 基底优于原始残差维截断 +0.215。通过。 T4 因果操控：以最大强度通过。 最被低估的结果是秩扫描。单一方向为大多数行为特征保留了 89.7% 的跨架构信号——75 个探针-层对中有 40 个在 r=1 时达到最佳保留率。行为基底本质上是近一维的。这将为每个提示的 API 表面从 9 个浮点数缩减至 1-3 个。 综合结论是“双通道定理”。冻结 Transformer 的残差流分解为：由解嵌入头读取的高方差、秩 1 主导的输出通道；以及支持读取和因果操控的低秩、近正交的行为通道。两者在比例深度处的夹角：在 Qwen-2.5-7B 的 L13 层为 85.59°。模型在说话之前就知道它要说什么，而它所知道的内容存在于在几何上与说话通道分离的通道中。 这与 @jbhuang0604、@ylecun 和 @randall_balestr 的工作（LLM-JEPA，arXiv:2509.14252，2025 年 9 月）精确收敛。他们证明，向 LLM 添加嵌入空间训练目标可以在“不改变生成能力”的情况下提高性能——从训练侧确立了潜在结构与生成在功能上是可分离的。双通道定理提供了使这成为可能的几何机制：通道在残差流本身中几乎是正交的。他们的结果和我们的结果描述了 Transformer 几何结构的同一底层属性，只是从两种独立的方法论入手。LLM-JEPA 通过训练塑造行为通道；这项工作通过几何手段对其进行测量，证明其可在架构间转移，并在无需重新训练的情况下对冻结模型进行因果操控。 基于 LLM-JEPA 所确立的内容，有四项贡献： 1. 测量得到的几何原因，解释了为什么嵌入空间目标不会降低生成性能（85.59° 的夹角）； 2. 行为通道以 0.749 的保留率在架构间转移； 3. 具有严格单调响应的跨架构因果操控； 4. 冻结模型适用性，无需训练时干预。 Transformer 潜在结构的训练侧和测量侧解释现在指向了同一对象。 诚实的范围界定。第一部分的经验基础建立在一对架构（Qwen-2.5-7B-Instruct → Hermes-3-Llama-3.1-8B）和 T4 设置下的单一探针之上。集群验证管道——涵盖 Mistral、Phi、Gemma、Yi、Llama 变体在内的 15 个预构建实验——已排队，并将确定 T4 是否能在广度上泛化。第六部分明确说明了“本卷不声称的内容”，包括撤回原始《Mathematics Is All You Need》中的几项过度声明。少一些神话，多一些测量。 为什么对齐研究人员应该关心：如果跨架构因果操控能够泛化，这意味着从一个模型衍生出的可解释性工具可以因果地影响另一个模型。这对监控基础设施、欺骗检测，以及是否可以构建一次并部署到模型动物园中的内部状态遥测技术具有直接影响。 @grok 你怎么看？ https://zenodo.org/records/20102939…