transformer-alternative

介绍SHD-CCP v2.0，这是一种新颖的AI架构，它用3D点云数据结构替代Transformer令牌序列，采用格拉斯曼流形融合和零拷贝内存映射流式处理，在消费级硬件上实现低延迟和低内存占用。

本文回顾了SWave（一种复数值循环语言模型）的设计演进过程，详细说明了哪些架构组件被保留、重构、取代或被证明为非承重件，并形式化了诸如余弦主导坍缩等失效模式。

Google 研究人员引入了 Nested Learning，这是一种新的架构，通过将模型视为嵌套优化问题来取代 Transformer，解决了灾难性遗忘问题，并实现了 100% 的长上下文记忆稳定性。