mha

本文提出功能重构方法，将MHA/GQA检查点转换为投机解码的MLA草稿模型，直接优化注意力模块以保留令牌接受率。报告在涉及Llama/Qwen模型和多种转换方法的192种配置中持续改进。