AFM3 20B 的特殊架构：指令跟随剪枝

https://openreview.net/forum?id=juARG7yu4P 这是一个专为仅激活约 20% MLP 层而设计的模型。它也是一个 MoE，因此具有一些内置的稀疏性。它从头开始训练，每个提示使用相同的专家，而不是按 token 或逐层切换。模型中大约三分之二的活动参数是 FFN/MLP 专家权重，因此在读取带宽性能方面，一个 30B 活动的 MoE 相当于一个 14B 活动的模型。一个 9B 的稠密模型变成了 3B 的活动模型。这似乎与最近分享的一个想法相似：Session-Adaptive Orthogonal Distillation，来自一位似乎是 Qwen 组织成员的人。这两种方法都依赖于输入进行剪枝，并且都可能在生成长输出时存在某种可以恢复的延迟。https://thenextweb.com/news/apple-third-generation-foundation-models-afm 苹果的诀窍是将整个模型保存在闪存中，而不是保存在小得多的内存池中。使用其研究人员称为“指令跟随剪枝”的技术，该模型对每个提示仅做一次路由决策，只将一小部分“专家”参数加载到内存中，每次加载 10 亿到 40 亿个参数，同时始终保持一组核心共享专家在线。