attention-modification

一位开发人员正在将Gemma 4 31b重建为一个更小的26b模型，通过移除弱SWA层、添加基于注意力的残差网络（来自Moonshot）以及使用topK logit目标进行再训练，旨在实现更好的长上下文和性能。