nested-learning

本文提出了一种记忆增强的多智能体架构，采用嵌套学习、连续记忆系统和语义缓存来缓解LLM流程中的幻觉问题，在显著减少事实错误的同时提高了运营效率。

提出联邦嵌套学习（FedNL）框架，将联邦学习重构成三级嵌套优化系统，实现自指记忆的协同训练以支持测试时自适应，从而处理非独立同分布数据和长尾分布。

Google 研究人员引入了 Nested Learning，这是一种新的架构，通过将模型视为嵌套优化问题来取代 Transformer，解决了灾难性遗忘问题，并实现了 100% 的长上下文记忆稳定性。