大语言模型在上下文学习中重组表征几何结构

arXiv cs.CL 论文
in-context-learning representational-geometry large-language-models neural-representations classification mechanistic-understanding

摘要

本文研究了大语言模型在上下文学习过程中如何重组表征几何结构，表明上下文学习性能与任务的几何结构相关，且成功的上下文学习涉及提高表征的可分离性。

arXiv:2605.28854v1 公告类型：新 摘要：大语言模型（LLMs）展现出非凡的灵活性：它们能够通过上下文示例适应新任务，而无需任何参数更新，这种能力被称为上下文学习（ICL）。先前关于合成任务的研究表明，ICL 可以实现特定算法，展示了架构能力，而机制分析已识别出支持该行为的关键回路。然而，由于上下文计算——无论其算法形式如何——依赖于高维表征空间中的变换，该空间的几何结构如何影响 ICL 的有效性仍不清楚。受分类即神经表征解缠这一神经科学观点的启发，我们假设 ICL 依赖于在线成功解缠任务相关表征。为验证这一想法，我们研究了 LLMs 如何对上下文示例进行分类，这些示例的标签由模型自身具有已知结构的内部表征定义。我们发现，ICL 性能与底层分类任务的表征结构系统相关，且成功的 ICL 伴随着几何重组，从而提高了在线可分离性。我们还发现，LLM 的行为可以由一种类似原型的算法很好地描述，该算法在整合证据的同时重塑表征以支持分类。这些发现为预训练 LLM 中的 ICL 提供了几何解释，将表征几何确立为 ICL 的机制约束，并量化了预训练表征所能提供的与上下文学习所能利用的之间的差距。
查看原文
查看缓存全文

缓存时间: 2026/05/29 09:13 

# 大型语言模型在上下文学习中重组表征几何结构
来源: https://arxiv.org/abs/2605.28854
查看 PDF (https://arxiv.org/pdf/2605.28854)

> 摘要: 大型语言模型（LLMs）展现出非凡的灵活性：它们能够通过上下文示例适应新任务，而无需更新任何参数，这种能力被称为上下文学习（ICL）。先前在合成任务上的研究表明，ICL可以实施特定的算法，体现了架构能力，而机制分析也揭示了支持该行为的关键回路。然而，由于上下文计算——无论其算法形式如何——都依赖于高维表征空间中的变换，因此该空间的几何结构如何塑造ICL的有效性仍不清楚。受神经科学中将分类视为神经表征解缠的观点的启发，我们假设ICL依赖于任务相关表征的成功在线解缠。为了验证这一想法，我们研究了LLM如何对上下文示例进行分类，这些示例的标签由模型自身内部具有已知结构的表征定义。我们表明，ICL性能与底层分类任务的表征结构系统性相关，且成功的ICL伴随着几何重组，从而提高了在线可分性。我们进一步发现，LLM的行为可由一种原型式算法很好地描述，该算法在整合证据的同时重塑表征以支持分类。这些发现为预训练LLM中的ICL提供了几何层面的解释，确立了表征几何结构作为ICL的机制约束，并量化了预训练表征所能提供的能力与上下文学习所能利用的能力之间的差距。

## 提交历史

来自：熊华东 \[查看邮件 (https://arxiv.org/show-email/475bc1e0/2605.28854)\] **\[v1\]** 2026年5月16日星期六 22:31:00 UTC (2,831 KB)

相似文章