无需GPU的LLMs个人持续学习——立场论文[OC]
摘要
作者提出了两种架构，即内部KV-Sphere架构（IKSA）和背景微调（BMFT），使得LLMs能够从个人互动中持续学习，无需GPU且无灾难性遗忘。
我提出了两种架构，使LLMs能够从日常个人互动中学习：内部KV-Sphere架构（IKSA）和背景微调（BMFT）。两者均无需GPU且无灾难性遗忘。全文：见评论区。诚邀研究人员验证或反驳这些想法！——Paras Lashkari
相似文章
LLM架构的最新发展：KV共享、mHC与压缩注意力 [P]
Sebastian Raschka回顾了LLM架构中针对长上下文效率的最新创新，包括KV共享、压缩卷积注意力和来自Gemma 4、ZAYA1、Laguna XS.2和DeepSeek V4等模型的逐层注意力预算。
大规模LLM推理开放手册（GPU内部机制、KV缓存、批处理、vLLM/SGLang/TensorRT-LLM）[P]
一本正在编写中的开放手册，解释LLM推理内部机制，包括GPU内存层次结构、KV缓存、批处理以及vLLM和TensorRT-LLM等流行推理引擎。
学习，快与慢：走向持续适应的LLMs
一种针对LLMs的快慢学习框架，将固定的慢权重与优化的快上下文权重相结合，在持续学习场景中实现了高达3倍的样本效率提升，并减少了灾难性遗忘。
持续学习何时需要学习
本文提出了一个统一的LLM持续学习框架，将变化沿空间（新领域）和时间（数据漂移）两个维度进行解耦。它评估了多种方法，包括提示、监督学习、强化学习和上下文压缩，在现实的顺序设置下。
LLM的未来发展方向
文章讨论了为何LLM无法从用户交互中学习，且缺乏确定性的真值层，提出动态知识图谱可以减少幻觉并在医学等高风险领域提升性能。