mla

苏剑林对K3架构进行复盘，核心为KDA + MLA + Stable LatentMoE + AttnRes的组合，讲解其设计取舍、MoE稳定性改进、为何保留MLA，以及DSV4与MLA的关系。

本文提出功能重构方法，将MHA/GQA检查点转换为投机解码的MLA草稿模型，直接优化注意力模块以保留令牌接受率。报告在涉及Llama/Qwen模型和多种转换方法的192种配置中持续改进。

一位研究者质疑在相同KV缓存下MLA优于GQA的可重复性，分享了早期小规模消融实验结果，并计划进行规模扩展实验以决定下一次大规模运行的架构。

22岁开发者Kye Gomez仅用两天逆向Anthropic的Claude Mythos黑箱架构，并开源OpenMythos项目，采用循环深度Transformer等技术，770M参数实现相当于1.3B模型的性能。

Sebastian Raschka 指出，从 LatentMoE 到特征分解的灵感链：MLA、LoRA 和 SVD 层层启发。