Copy-Paste 语言模型

Hugging Face Daily Papers 2026/10/13 00:00 论文

language-models in-context-learning long-context retrieval pretraining architecture

摘要

论文提出 Copy-Paste 语言模型（CPLMs），在传统语言建模头之外加入轻量 Copy-Paste 头以增强模型的上下文复制能力，在 135M 到 1.7B 参数规模的预训练中验证了训练效率、下游性能及长上下文检索的提升，且开销极小。

直觉上，Transformer 被认为擅长从输入中复制内容。我们实际上证明，LLM 的上下文复制能力可以通过显式建模来提升。我们提出了 Copy-Paste 语言模型（CPLMs），在传统语言建模（LM）头之外加入一个轻量的 Copy-Paste 头。CPLMs 提升了训练效率和下游性能，并在长上下文和检索场景中提供了新的操作点。我们通过从 135M 到 1.7B 参数规模的模型预训练来验证我们的方法，结果表明在所有规模和骨干架构上均有提升，且训练和推理开销可以忽略不计。我们通过展示 CPLMs 通过替代梯度路径部分缓解了 LM 头的梯度瓶颈，来解释其成功的原因。

查看原文

查看缓存全文

缓存时间: 2026/10/16 19:06

论文页面 - Copy-Paste Language Models

来源: https://huggingface.co/papers/2610.19247

摘要

Copy-Paste Language Models 通过添加一个轻量级的 Copy-Paste head 来增强上下文内复制能力，从而以极小的额外开销提升训练效率、下游性能以及长上下文检索效果。

直觉上，人们认为 Transformers (https://huggingface.co/papers?q=Transformers) 在从输入中复制内容方面是高效的。但实际上，我们表明 LLMs (https://huggingface.co/papers?q=LLMs) 的上下文内复制能力可以通过显式建模来进一步提升。我们提出了 Copy-Paste Language Models (https://huggingface.co/papers?q=Copy-Paste%20Language%20Models)（CPLMs），它在传统语言建模（LM）head 之外增加了一个轻量级的 Copy-Paste head。CPLMs 提升了训练效率和下游性能，并在长上下文 (https://huggingface.co/papers?q=long-context) 和检索 (https://huggingface.co/papers?q=retrieval) 场景中提供了新的工作模式。我们通过从 135M 到 1.7B 参数的模型预训练验证了我们的方法，展示了在所有规模和骨干架构上的改进，且训练和推理的额外开销可以忽略不计。我们通过展示 CPLM 能够通过替代梯度路径部分缓解 LM head 的梯度瓶颈 (https://huggingface.co/papers?q=gradient%20bottleneck)，解释了 CPLMs 成功的原因。

查看 arXiv 页面 (https://arxiv.org/abs/2610.19247) 查看 PDF (https://arxiv.org/pdf/2610.19247) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.19247)

在你的代理工具中获取这篇论文：

hf papers read 2610.19247

还没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

没有模型链接到本文

在模型 README.md 中引用 arxiv.org/abs/2610.19247 即可在此页面建立链接。

引用本文的数据集 0

没有数据集链接到本文

在数据集 README.md 中引用 arxiv.org/abs/2610.19247 即可在此页面建立链接。

引用本文的 Spaces 0

没有 Space 链接到本文

在 Space README.md 中引用 arxiv.org/abs/2610.19247 即可在此页面建立链接。

包含本文的合集 1

相似文章

复制粘贴语言模型

arXiv cs.CL

该论文提出了复制粘贴语言模型（CPLMs），在标准语言模型头之外增设一个轻量级复制粘贴头，使模型能够显式指向并复制上下文中的词元，从而缓解语言模型头的梯度瓶颈。参数规模从 1.35 亿到 17 亿的预训练模型在训练效率、下游任务表现和长上下文运行能力方面均有所提升，且额外开销微乎其微。

从复制到组合：语言模型如何发展出上下文学习能力

arXiv cs.CL

本文提出一种受控诊断任务，区分语言模型在上下文学习中的“复制示例”与“组合应用规则”两种行为，发现提示控制、答案偏好、无候选构造和迁移能力在训练中沿不同时间线发展，且合成定义文档训练能提升组合式响应。

字节语言模型：规模化、涌现式抽象与信息分配

Reddit r/singularity

该论文研究无分词器的字节级语言模型，发现配合 token-superposition 训练与哈希嵌入后，扁平 Transformer 随规模扩大能持续超越子词模型，并能自发学习出类似分词器的局部文本抽象，据此可将投机解码的接受率提升 3.4 倍。

@realchendahuang: 三年前大语言模型刚席卷全球时，整个技术圈处于一种既兴奋又处处受限的尴尬状态。当时整个行业公认有几道极难逾越的技术关卡：模型的记忆窗口太短，输入稍微长一点就记不住；底层计算架构太吃算力，长文本计算量呈几何级数爆炸；调用一次的账单开销…

X AI KOLs Timeline

一篇回顾大语言模型三年技术演进的深度评论：长上下文处理从RAG转向前缀缓存与百万级上下文窗口，Transformer依然因GPU张量核心的硬件生态胜过线性复杂度的新架构，推理成本靠量化、蒸馏和任务分流平民化，智能体转向渐进披露、命令行沙箱与测试闭环的务实工程路径，而幻觉问题依旧难解。

学会学习一门语言

Hugging Face Daily Papers

本文提出了先验拟合语言模型（Prior-Fitted Language Model, PFLM），这是一个3亿参数的字节级Transformer，完全基于合成结构因果模型生成的样本进行预训练，使其能够在权重冻结的情况下通过上下文学习语言，尽管从未接触过任何真实文本。实验结果显示，其自然语言建模能力接近主流水平，并具备算术运算与压缩能力，在多个领域优于gzip/PPMd，这表明模型实现的是语言的元学习，而非记忆。