icml2026

该论文介绍了 MoFO，一种动量过滤优化器，通过仅更新具有大动量幅值的参数来缓解 LLM 微调中的遗忘问题，无需额外存储即可保留预训练知识。

新论文介绍了 PoPE，一种将内容与位置解耦的位置编码，解决了在多个 LLM（如 Qwen、Gemma、DeepSeek）中使用的 RoPE 的一个基本缺陷。已在 ICML2026 上展示。

本文使用范畴论形式化了Transformer中的类比推理，引入了合成任务来研究其涌现，并揭示了它源于关系结构的几何对齐和函子应用，同时在预训练的LLM中也发现了类似的特征。该工作被接收为ICML 2026的Spotlight。