标签
DeepSeek 发表了一篇论文，介绍了 mHC（流形约束超连接，Manifold-Constrained Hyper-Connections），这是一种对 Transformer 架构的根本性重写，通过用数学约束的多流路径替换标准残差连接，来稳定大型模型。
一段40分钟的讲解通过白板图完整介绍了Transformer架构，并演示了如何在Vim中使用C语言进行实际实现。
一位22岁创业者据称通过开源项目揭开了Anthropic Claude Mythos模型的架构黑箱，并推测其采用了循环深度Transformer设计而非单纯扩大参数规模。
ResBM提出了一种基于Transformer的架构，采用残差编码器-解码器瓶颈用于流水线并行训练，在保持收敛的同时实现了128倍激活压缩。该工作通过减少阶段间通信开销，推进了去中心化、互联网级分布式训练的发展。
一篇介绍Three-Phase Transformer（3PT）的研究论文，该模型将特斯拉的多相几何应用于Transformer架构，将残差流组织成三个120°偏移的相位。该方法在WikiText-103上以极少的参数（0.00124%的开销）实现了7.2%的困惑度提升，以及1.93倍的收敛加速。
# 论文页面 - Motif-Video 2B：技术报告 来源：[https://huggingface.co/papers/2604.16503](https://huggingface.co/papers/2604.16503) 作者：、、、、、、、、、、、、、、、、、、、、、 ## 摘要 Motif-Video 2B 采用共享交叉注意力与三段式主干的专用架构，以及高效训练方法，在显著降低参数量和训练数据用量的同时，实现了高质量文本到视频生成。