selective-updates

介绍Janus，一种用于LLM的插件式记忆控制器，通过记忆动量触发器（Memory Momentum Trigger）和紧凑混合评估集，选择性接受或拒绝候选记忆更新，在多个数据集上平均准确率提升+2.7至+4.6个百分点。

提出了一种用于随机优化的动量-梯度对齐更新策略MGUP，可实现层内选择性参数更新。该策略能与AdamW、Lion和Muon等优化器无缝集成，在提供理论收敛保证的同时，在大型模型训练任务中展现出卓越性能。