network-topology

亚马逊讨论了扁平数据中心网络拓扑结构的演进，从理论上的扩张图到实际实现（如VL2和Jellyfish），以及在AWS中基于彭罗斯铺砌设计的当前研究。

本文对生产规模的大型语言模型进行了完整的 Jacobian 特征分解，揭示了从旋转主导的早期层到对称后期层的习得谱梯度，以及一个压缩扰动的低秩瓶颈。结果将扰动传播与压缩与网络功能拓扑联系起来。