大语言模型在上下文学习中重组表征几何结构

arXiv cs.CL 论文
in-context-learning representational-geometry large-language-models neural-representations classification mechanistic-understanding

摘要

本文研究了大语言模型在上下文学习过程中如何重组表征几何结构，表明上下文学习性能与任务的几何结构相关，且成功的上下文学习涉及提高表征的可分离性。

arXiv:2605.28854v1 公告类型：新 摘要：大语言模型（LLMs）展现出非凡的灵活性：它们能够通过上下文示例适应新任务，而无需任何参数更新，这种能力被称为上下文学习（ICL）。先前关于合成任务的研究表明，ICL 可以实现特定算法，展示了架构能力，而机制分析已识别出支持该行为的关键回路。然而，由于上下文计算——无论其算法形式如何——依赖于高维表征空间中的变换，该空间的几何结构如何影响 ICL 的有效性仍不清楚。受分类即神经表征解缠这一神经科学观点的启发，我们假设 ICL 依赖于在线成功解缠任务相关表征。为验证这一想法，我们研究了 LLMs 如何对上下文示例进行分类，这些示例的标签由模型自身具有已知结构的内部表征定义。我们发现，ICL 性能与底层分类任务的表征结构系统相关，且成功的 ICL 伴随着几何重组，从而提高了在线可分离性。我们还发现，LLM 的行为可以由一种类似原型的算法很好地描述，该算法在整合证据的同时重塑表征以支持分类。这些发现为预训练 LLM 中的 ICL 提供了几何解释，将表征几何确立为 ICL 的机制约束，并量化了预训练表征所能提供的与上下文学习所能利用的之间的差距。
查看原文
查看缓存全文

缓存时间: 2026/05/29 09:13 

# 大型语言模型在上下文学习中重组表征几何结构
来源: https://arxiv.org/abs/2605.28854
查看 PDF (https://arxiv.org/pdf/2605.28854)

> 摘要: 大型语言模型（LLMs）展现出非凡的灵活性：它们能够通过上下文示例适应新任务，而无需更新任何参数，这种能力被称为上下文学习（ICL）。先前在合成任务上的研究表明，ICL可以实施特定的算法，体现了架构能力，而机制分析也揭示了支持该行为的关键回路。然而，由于上下文计算——无论其算法形式如何——都依赖于高维表征空间中的变换，因此该空间的几何结构如何塑造ICL的有效性仍不清楚。受神经科学中将分类视为神经表征解缠的观点的启发，我们假设ICL依赖于任务相关表征的成功在线解缠。为了验证这一想法，我们研究了LLM如何对上下文示例进行分类，这些示例的标签由模型自身内部具有已知结构的表征定义。我们表明，ICL性能与底层分类任务的表征结构系统性相关，且成功的ICL伴随着几何重组，从而提高了在线可分性。我们进一步发现，LLM的行为可由一种原型式算法很好地描述，该算法在整合证据的同时重塑表征以支持分类。这些发现为预训练LLM中的ICL提供了几何层面的解释，确立了表征几何结构作为ICL的机制约束，并量化了预训练表征所能提供的能力与上下文学习所能利用的能力之间的差距。

## 提交历史

来自：熊华东 \[查看邮件 (https://arxiv.org/show-email/475bc1e0/2605.28854)\] **\[v1\]** 2026年5月16日星期六 22:31:00 UTC (2,831 KB)

相似文章

多样本思维链上下文学习：让上下文学习真正学会

Hugging Face Daily Papers

本文研究了推理任务的多样本思维链上下文学习，揭示了标准扩展规则并不适用，并提出了Curvilinear Demonstration Selection (CDS)方法以改进示例排序，最高可获得5.42个百分点的性能提升。

大语言模型几何表示鲁棒性评测

arXiv cs.CL

# 大语言模型几何表示鲁棒性评测 来源：[https://arxiv.org/html/2604.16421](https://arxiv.org/html/2604.16421) Vedant Jawandhia 计算机科学与信息系统系，BITS Pilani \{f20220627, dhruv\.kumar, yash\.sinha\}@pilani\.bits\-pilani\.ac\.in Yash Sinha 计算机科学与信息系统系，BITS Pilani \{f20220627, dhruv\.kumar, yash\.sinha\}@pilani\.bits\-pilani\.ac\.in Ankan Pal 数学系，BITS Pilani

多模态大语言模型内部视觉表征的因果探针

arXiv cs.AI

本文提出了一种用于探测多模态大语言模型内部视觉表征的因果框架，揭示了实体与抽象概念在编码方式上的差异。研究强调增加模型深度对于编码抽象概念至关重要，并揭示了当前多模态大语言模型在感知与推理之间的脱节。

论大语言模型的固有可解释性：设计原则和架构调查

arXiv cs.CL

一份综合调查，回顾了大语言模型（LLM）固有可解释性的最新进展，将方法分为五个设计范式：功能透明性、概念对齐、表示可分解性、显式模块化和潜在稀疏性诱导。论文解决了在模型架构中直接构建透明性，而不是依赖事后解释方法的挑战。

几何冲突：解释并控制大模型持续后训练中的遗忘

Hugging Face Daily Papers

本研究探讨了任务几何如何影响大模型的持续后训练，识别出“几何冲突”是导致遗忘的原因，也是控制更新整合的机制。作者提出了一种无需数据的方法——几何冲突 Wasserstein 合并（GCWM），该方法在各种规模的模型中均能提升保留率和性能。