通过自适应计算从大语言模型构建高效的系统一模型

Hugging Face Daily Papers 论文

摘要

研究发现大语言模型中的决策信息集中在中间层(最后六层可移除),并提出一种方法:将完整模型与共享前缀的子模型及一个轻量门控联合训练以实现自适应计算,在七个决策基准上达到或超越独立训练的模型。

将大语言模型(LLM)转化为系统一(System One)决策模型,通常的做法是用决策头替换语言建模头,同时保留完整的骨干网络,这意味着每次决策都要为所有层的计算买单。然而,这类决策究竟需要多深的网络仍不清楚。我们发现决策信息集中在中间层:早期层构建必要特征,而最后六层可以在不损失性能的情况下移除;相比之下,独立训练的小模型在很大程度上只是在模仿完整模型,而非发展出专门的决策能力。这些发现表明,提升效率并不只是缩小骨干网络,而是要在不同深度之间共享计算。在此基础上,我们提出了一种方法,通过自蒸馏将完整模型与共享其最后若干层和决策头的前缀子模型进行联合训练。一个轻量门控会读取每个出口处的隐藏状态,判断是否需要进一步计算,从而使单个模型能够在多个不同深度上运行。在七个决策基准上,我们的方法在各个深度都达到或超过了独立训练的模型,并通过自适应计算实现了更优的精度-效率权衡。
查看原文
查看缓存全文

缓存时间: 2026/11/16 08:56

论文页面 - 从大语言模型到高效 System One 模型:通过自适应计算

来源: https://huggingface.co/papers/2611.16321

摘要

将 LLM 转化为 System One 决策模型,通常的做法是把语言建模头替换为决策头,同时保留完整的 backbone,导致每次决策都要为所有层付出计算代价。然而,这类决策究竟需要多深的网络仍不清楚。我们发现决策信息集中在中间层:早期层负责构建基础特征,而最后六层可以移除且不产生损失;与此同时,独立训练的较小模型大多只是在模仿完整模型,而非发展出专门的决策能力。这些发现表明,提升效率并不只是缩小 backbone,而是要在不同深度之间共享计算。基于此,我们提出了 NestOne,它通过自蒸馏联合训练一个完整模型与多个前缀子模型,这些子模型共享完整模型的最后几层和决策头。一个轻量级 gate 会读取每个出口处的 hidden state,以判断是否需要额外的计算,从而使单个模型能够在多个层级上运行。在七个决策基准上,我们的方法在每个深度都匹配或超越了独立训练的模型,同时通过自适应计算实现了更优的精度-效率权衡。

查看 arXiv 页面 (https://arxiv.org/abs/2611.16321) 查看 PDF (https://arxiv.org/pdf/2611.16321) GitHub1 (https://github.com/minhkks/NestOne) 添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2611.16321)

在你的 agent 中获取这篇论文:

hf papers read 2611.16321

还没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

没有模型链接到本文

在模型的 README.md 中引用 arxiv.org/abs/2611.16321 即可从本页面链接过去。

引用本文的数据集 1

Small-Bot/slm-leaderboard-taxonomy (https://huggingface.co/datasets/Small-Bot/slm-leaderboard-taxonomy)

引用本文的 Spaces 0

没有 Space 链接到本文

在 Space 的 README.md 中引用 arxiv.org/abs/2611.16321 即可从本页面链接过去。

包含本文的收藏集 0

没有收藏集包含本文

将本文添加到收藏集 (https://huggingface.co/new-collection) 以从本页面链接过去。

相似文章

将大型语言模型理解为数值优化器

arXiv cs.AI

该论文研究了将大语言模型(LLM)用作数值优化器,发现它们能够捕捉问题结构并生成近乎最优的解,但可靠性会随着问题维度的增加而下降,而迭代改进可以缓解这一问题,因此推动了将大语言模型与确定性求解器相结合的混合方法。

基于自监督早期退出机制加速大语言模型推理

arXiv cs.CL

本文介绍了一种针对大语言模型的自监督早期退出方法,允许在置信度较高时在中间层提前停止计算,从而降低推理成本。此外,还提出了动态自推测解码(DSSD),相比现有基线实现了更高的令牌接受率。

LLM 复杂性:迈向大语言模型推理的计算复杂性视角

arXiv cs.CL

该论文提出了 LLM 复杂度,这是一种通过准确率–词元数曲线下面积,从 LLM 视角量化问题难度的新指标。研究表明,词元长度与经典时间复杂度并不呈单调对应关系,且该指标能够为监督微调构建稳定的由易到难的课程。