@MihaelaVDS: 能否让LLMs在不更新权重的情况下持续学习新技能？现代LLMs已经能够掌握并组合许多技能。…

X AI KOLs Timeline 论文
llm skill-learning catastrophic-forgetting weight-update icml skill-neologisms

摘要

介绍了一种名为'skill neologisms'的方法，它能使LLMs在不更新权重的情况下学习新技能，解决了灾难性遗忘问题。该方法在ICML上提出。

能否让LLMs在不更新权重的情况下持续学习新技能？ 现代LLMs已经能够掌握并组合许多技能。但如何以可扩展的方式教会它们新技能而不发生灾难性遗忘，仍是一个未解决的挑战。 @icmlconf 我们介绍了一种新方法：skill neologisms https://t.co/xtHizOPqPV
查看原文
查看缓存全文

缓存时间: 2026/06/29 22:32

LLMs能在不更新权重的情况下持续学习新技能吗？ 现代 LLMs 已经能够掌握并组合多种技能，但如何以可扩展的方式教授它们新技能、同时避免灾难性遗忘，仍是一个开放挑战。 在 @icmlconf 上，我们提出了一种新方法：skill neologisms https://t.co/xtHizOPqPV

相似文章

学习，快与慢：走向持续适应的LLMs

Hugging Face Daily Papers

一种针对LLMs的快慢学习框架，将固定的慢权重与优化的快上下文权重相结合，在持续学习场景中实现了高达3倍的样本效率提升，并减少了灾难性遗忘。