无需GPU的LLMs个人持续学习——立场论文[OC]

Reddit r/AI_Agents 2026/05/16 14:50 论文

continual-learning llm personal-ai position-paper gpu-free catastrophic-forgetting

摘要

作者提出了两种架构，即内部KV-Sphere架构（IKSA）和背景微调（BMFT），使得LLMs能够从个人互动中持续学习，无需GPU且无灾难性遗忘。

我提出了两种架构，使LLMs能够从日常个人互动中学习：内部KV-Sphere架构（IKSA）和背景微调（BMFT）。两者均无需GPU且无灾难性遗忘。全文：见评论区。诚邀研究人员验证或反驳这些想法！——Paras Lashkari

查看原文

相似文章

Reddit r/MachineLearning

Sebastian Raschka回顾了LLM架构中针对长上下文效率的最新创新，包括KV共享、压缩卷积注意力和来自Gemma 4、ZAYA1、Laguna XS.2和DeepSeek V4等模型的逐层注意力预算。

Hugging Face Daily Papers

一种针对LLMs的快慢学习框架，将固定的慢权重与优化的快上下文权重相结合，在持续学习场景中实现了高达3倍的样本效率提升，并减少了灾难性遗忘。

Hugging Face Daily Papers

PersonaVLM 提出了一种个性化多模态大语言模型框架，通过记忆保留、多轮推理和响应对齐实现长期用户适应，在新推出的 Persona-MME 基准测试中比 GPT-4o 高出 5.2%。

Reddit r/MachineLearning

本文提出了一种用于大语言模型的快慢训练框架，该框架结合参数更新与上下文优化，以提高样本效率并减少持续学习过程中的灾难性遗忘。

arXiv cs.CL

本文介绍了自蒸馏微调（SDFT）作为大语言模型性能恢复机制，用于解决灾难性遗忘、量化和剪枝导致的性能下降问题。作者利用中心核对齐（CKA）提供了理论证明，表明自蒸馏能够使学生模型的高维流形与教师模型的最优结构对齐，从而有效恢复丧失的能力。