上下文学习运作于概念子空间学习

arXiv cs.LG 论文
in-context-learning concept-subspace llm interpretability mechanistic-analysis representation-learning transformer

摘要

本文提出，大型语言模型中的上下文学习通过低维概念子空间运作，任务相关信息集中在表示空间的一小部分中，并在Llama-3-8B和Qwen2.5-7B上通过实验得到支持。

arXiv:2605.18830v1 公告类型：新论文 摘要：上下文学习（ICL）的回归和贝叶斯解释说明了示范如何诱导预测器，而机制分析通常识别出引导提示行为的紧凑激活方向。然而，结构化示范是否诱导低维概念推理仍不清楚。我们通过ICL的概念子空间视角研究该问题，在此视角下，任务仅沿内在概念坐标变化，尽管输入在高维环境空间中被观测。对于岭回归和最小二乘ICL代理，预测精确分解为概念坐标回归和子空间外泄漏。在块对角或近块对角协方差假设下，主要估计项和噪声敏感项随概念子空间维度缩放，而残差效应由跨子空间耦合控制。这种分离给出了一个机制性预测：可恢复的任务信息应集中在低维、任务对齐的激活子空间中。在使用CounterFact衍生的多关系提示对Llama-3-8B进行实验时，4096维残差流中的68-73维子空间恢复了干净-损坏准确率差距的78.8%，而修补互补子空间恢复了0%。概念交换将预测转向注入的关系，而随机和跨任务匹配秩控制基本无效。对Qwen2.5-7B和受控跨语言规则任务的额外实验显示相同的定性模式。这些结果支持概念子空间作为结构化任务族中可恢复ICL行为的紧凑、任务对齐中介，而不暗示完整电路的恢复。
查看原文

相似文章

持续学习何时需要学习

arXiv cs.LG

本文提出了一个统一的LLM持续学习框架，将变化沿空间（新领域）和时间（数据漂移）两个维度进行解耦。它评估了多种方法，包括提示、监督学习、强化学习和上下文压缩，在现实的顺序设置下。

信念还是电路？上下文图学习的因果证据

arXiv cs.AI

本文使用主成分分析（PCA）和激活补丁等机制可解释性方法，在一个图随机游走任务上探究了大型语言模型是通过潜在结构推断还是局部模式匹配来进行上下文学习。

学习，快与慢：走向持续适应的LLMs

Hugging Face Daily Papers

一种针对LLMs的快慢学习框架，将固定的慢权重与优化的快上下文权重相结合，在持续学习场景中实现了高达3倍的样本效率提升，并减少了灾难性遗忘。