@classiclarryd: 向LLM研究社区提问：是否有人知道完全可重复的实验结果表明MLA能……

向LLM研究社区提问：是否有任何人掌握完全可复现的实验结果，证明在相同KV缓存下MLA优于GQA？我提出这个问题有两个原因：(1) 令我惊讶的是，中国实验室使用MLA而西方实验室使用GQA+滑动窗口的做法仍然存在分歧，这显然已被多方进行了大量消融实验。(2) 在Marin，我们正在考虑为下一次大规模运行采用MLA，但在早期小规模消融实验中，即使控制了KV缓存，MLA的表现似乎也不如经过精心调优、特征丰富的GQA。我希望在此进行更完善的实验。以下我先谈谈对可复现性的一般看法，再具体讨论MLA。

机器学习中的每个实证结果都只在特定上下文中成立。取决于数据分布、优化器设置、模型宽度、模型深度、更精细的架构细节、硬件、内核工程、初始化、token数量、分词器、上下文长度和评估协议，人们可能得出不同的结论。

上下文相关的结果仍然有价值。通常，如果我发现一个很有前景的方法，我会先尝试进行完整的“上下文跳跃”，即将其应用到自己的上下文中，希望结果能迁移。有时能成功，有时不能。如果不成功，我可以尝试两件事：修改方法的实现，或修改上下文。理想情况下，我能访问原始结果的完整上下文。然后我就可以进行“上下文桥接”，每次消融上下文的一个方面，精确定位方法表现差异的原因。这让我能够做出明智的决定：要么更新我的上下文以让该方法表现出色，要么保留我的上下文并放弃该方法。

在小规模下评估MLA很棘手。MLA的一个核心方面是将hidden_dim压缩到latent_dim。然后对每个头，latent_dim压缩到head_dim。通常head_dim固定为128，部分原因是为了硬件优化，部分原因是学习动态（head_dim为8时表示能力不足）。要获得MLA的动态特性，你需要hidden_dim >> latent_dim，且latent_dim > head_dim。这个条件在小规模下很难满足。

调优程度可能不公平地改变天平。在GQA中，我们有部分RoPE、QK归一化、门控注意力、注意力锐化、滑动窗口以及其他技术，这些技术能带来30%以上的训练提升。但它们似乎对MLA没有同样的提升效果。一方面，你希望对两者进行“苹果对苹果”的同等调优比较。另一方面，未来你能进行的调优是有限的，因此先前的调优会决定哪种方法更实用。

在MLA和GQA之间创建受控测试很棘手。涉及几个因素：KV缓存、二次注意力的计算量、注意力投影的计算量。KV缓存的控制方式：将KV头数缩放至与MLA匹配，或将KV latent维度缩放至与KV头数匹配。二次注意力计算量的控制方式：增加GQA的查询头数以匹配MLA的头数，或减少MLA的头数。此外，还可以将GQA的head_dim从128增加到192，或将MLA的head_dim从192减少到128。一般来说，同时匹配选项A的首选上下文和选项B的首选上下文是有信息量的。滑动窗口是另一个混淆因素。

如果不考虑RoPE，MLA在理论上很优雅。它用“混合”操作（下图）替代了GQA中KV头的“复制”操作。由于“混合”操作可以学习到“复制”行为（如果它想），MLA纯粹更具表达能力，而且“混合”操作的成本在推理时可以通过吸收技巧隐藏。然而在实践中，我发现小规模下这种“混合”操作并没有增加多少价值，而且与优化器动态的交互效果不好。同时，对RoPE的改变也带来了负面影响。

我目前的计划是，首先围绕MLA调优和消融我们的模型特征，然后运行三个规模阶梯：MLA、2 KV头的GQA、以及更高KV头的GQA。对每个阶梯，拟合损失与计算量的投影曲线。如果在我们目标计算量下MLA的表现比两个GQA选项都差，就放弃它。如果MLA优于2 KV头但劣于更高的KV头，那么就是一个KV缓存的权衡。早期结果表明MLA的表现会比两个特征丰富的GQA阶梯都差，但我们会继续观察。任何外部正面的、可复现的MLA结果都将有助于我确保给它最好的机会。