sparse-routing

EntropyMoE 为无分词器大语言模型引入了一种熵感知的专家混合架构，使用动态字节补丁作为路由单元，以实现稀疏条件计算。实验表明，在保持下游精度的同时，它在基线中取得了最低的留出法每字节比特数（bits-per-byte）。

介绍了 Sparse-Reslim，一种即插即用的路由模块，仅通过昂贵的 Transformer 块处理 25% 的空间令牌，以实现高效的天气预测，最高可实现 3.18 倍的加速并提高预报准确性。

一位知乎答主半年前的预测——下一个Transformer将吸收循环、递归状态、稀疏路由和潜在推理——随着Loop Engineering的推进，正变得越来越有现实意义。本文探讨了未来的Transformer架构如何演变为混合模型：将线性复杂度的层用于背景上下文，注意力机制用于精确推理，再加上更细粒度的稀疏性和原生的System 2推理。