重建Gemma 4 31b……更好……压缩为26b……

所以……我不管了。我打算重建Gemma 4 31b。我真的很喜欢这个模型。所以目前的计划是重建SWA层。目前正在运行所有适当的消融测试，以确定移除哪个SWA层。Gemma运行5个SWA，每个1024个token。然后是一个全局层作为“块”。第3层始终是最弱的，很可能会被移除。然后我将全面重新调整SWA的注意力。新的SWA将是1024/2048/4096/8.1k，然后是全局层。这就是Gemma使用的“块”。之后，我将添加“基于注意力的残差网络”……这是Moonshot开发的。研究论文大概是2026年初。我几乎没睡觉在搞这个，所以论文日期可能不对。总之，网络中的全局层将获得基于注意力的残差，使全局层之间能够更好地传递信息。理论上，这使模型具有更好的全局连贯性，并且在更小的体积下表现更好。鉴于我没有谷歌投入数百万美元开发的完整IT/RL流水线……我必须在IT基础上工作。因此，在初始重建中，我将从31b模型中提取topK 12？还是20？的logits，并将它们作为重新训练的目标，同时冻结模型的顶部和底部。这将保持分词/输出/词汇表不变，同时网络内部在更小的空间中寻找稳定性，看起来像31b。TopK重建是我在另一个训练环节开发的另一个奇怪技术。它很酷，因为它教会模型对下一个token可能是什么以及邻近token等有更丰富的理解……我不知道是我发明了这种方法，还是只是得出了别人已经得出的结论。可能两者都有。最后，给它喂几十亿个token来重建它。我必须找到一个“好”的数据集来使用，或者……直接构建数据集。实际的完整再训练需要花费资金，但无所谓了。到时候再面对吧。我很确定我可以直接竞价租用B300并在上面训练。模型的总参数量将从约30.81B降至约26.02B。理论上也应该更好。更好的长上下文等。如果你有好的数据集、算力等想捐赠……联系我……如果你只是对这一切如何运作或为什么有效有疑问……随便问。我可以坐着回答，因为盯着TQDM进度条不需要太多脑力。等我从即将进入的昏迷中醒来后再回复。