标签
本文提出了一种用于大语言模型的持续学习方法，该方法使用预训练的稀疏自编码器（SAEs）在激活空间而非权重空间中进行正则化，从而在无需存储先前数据的同时避免灾难性遗忘，并实现了更好的内存效率和更强的基准性能。
一条推文主张持续学习将在本地运行，并解释了为什么主要AI实验室避免讨论它：因为数据保留在设备上。
Zyphra 分享了他们在大型语言模型持续学习方面的首项工作，研究模型是否能够从新数据中持续学习，并推导出在高达70亿参数的扩展实验中塑性丧失开始的缩放定律。
奥里奥尔·维尼亚尔斯（Oriol Vinyals）关于 Google Gemini 模型、世界模型、多模态 AI、智能体以及持续学习和真正创新等挑战的讨论摘要。
本文提出连续功率预测，将功率预测视为持续学习问题以处理非平稳条件。它在真实世界数据集上评估了六种持续学习方法，展示了在适应性和缓解灾难性遗忘方面的优势。
本综述将面向LLM的工业持续学习重新定义为版本化生态系统中的闭环更新与发布问题，识别了关键挑战，并提出了五个生命周期设计原则，以实现可持续的模型演进。
本文介绍了持续IVON（CoVON）优化器，它将快速和慢速适应整合到变分持续学习中，以平衡稳定性和可塑性，在领域增量学习、持续预训练以及大型语言模型的微调中优于现有方法。
SnorkelAI 宣布即将推出 Benchtalks 第3集，邀请 @pgasawa 讨论持续学习基准，@vincentsunnchen 也将加入。
Engram推出了一种从用户上下文中学习的人工智能，通过在个人和企业数据上扩展计算能力，创建理解特定工作环境的模型。他们为代理提供API，并与Notion、Harvey和Microsoft建立了合作关系。
一篇比较RNNs、Transformers和SSMs中记忆设计的技术分析，主张关键问题在于序列状态应存储于何处，而非哪种架构更优。讨论了压缩隐状态、增长的KV缓存以及模型连接中类突触记忆之间的权衡。
DeepSeek 研究员开源了 AutoResearch，这是一个自主框架，能够在无需人工干预的情况下，为 DeepSeek 285B 模型规划、执行并调试强化学习实验，并附带了一篇关于自我对弈的综述论文。
Jacob X. Li 讨论了人工智能系统需要从文档库中自主发展专业知识的需求，并将此视为一种具有挑战性的持续学习形式。
一条由@DSPyOSS和Jacob X. Li发布的推文，对比了机器学习（基于明确目标从数据中优化）与“机器研学”（从无下游任务的声明式语料库中学习），强调了AI系统迫切需要从非结构化文档中发展专业知识。
Jacob X. Li 讨论了人工智能持续学习的新视角，强调从文档库中培养专业知识，并指出这为智能体的智能提供了可衡量的定义。
提出了一种名为“Machine Studying”的新型持续学习框架，其中AI系统能够自主从语料库中发展专业知识，并引入了StudyBench用于评估。
探讨了让AI系统像人类阅读教科书一样从文档中发展深层专业知识的挑战，强调了一种持续学习的形式。
引入了“Machine Studying”概念，即从文档语料库中发展专业知识的问题，与持续学习不同。
Jacob Li 引入了 'Machine Studying' 作为持续学习中的一个新问题：AI系统如何仅凭文档语料库在不熟悉的领域发展专业知识，这与避免灾难性遗忘不同。
Jacob Li介绍了'Machine Studying'这一概念，将其视为一种独特且紧迫的持续学习形式，其中AI系统必须仅凭文档语料库在一个新领域发展专业知识。
Deli AutoResearch SKILL 已开源，这是一个自主框架，可自动化 GPU 实验和强化学习流水线，同时附带一篇关于自我对弈的综述论文。