通过自适应计算从大语言模型构建高效的系统一模型
摘要
研究发现大语言模型中的决策信息集中在中间层(最后六层可移除),并提出一种方法:将完整模型与共享前缀的子模型及一个轻量门控联合训练以实现自适应计算,在七个决策基准上达到或超越独立训练的模型。
查看缓存全文
缓存时间: 2026/11/16 08:56
论文页面 - 从大语言模型到高效 System One 模型:通过自适应计算
来源: https://huggingface.co/papers/2611.16321
摘要
将 LLM 转化为 System One 决策模型,通常的做法是把语言建模头替换为决策头,同时保留完整的 backbone,导致每次决策都要为所有层付出计算代价。然而,这类决策究竟需要多深的网络仍不清楚。我们发现决策信息集中在中间层:早期层负责构建基础特征,而最后六层可以移除且不产生损失;与此同时,独立训练的较小模型大多只是在模仿完整模型,而非发展出专门的决策能力。这些发现表明,提升效率并不只是缩小 backbone,而是要在不同深度之间共享计算。基于此,我们提出了 NestOne,它通过自蒸馏联合训练一个完整模型与多个前缀子模型,这些子模型共享完整模型的最后几层和决策头。一个轻量级 gate 会读取每个出口处的 hidden state,以判断是否需要额外的计算,从而使单个模型能够在多个层级上运行。在七个决策基准上,我们的方法在每个深度都匹配或超越了独立训练的模型,同时通过自适应计算实现了更优的精度-效率权衡。
查看 arXiv 页面 (https://arxiv.org/abs/2611.16321) 查看 PDF (https://arxiv.org/pdf/2611.16321) GitHub1 (https://github.com/minhkks/NestOne) 添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2611.16321)
在你的 agent 中获取这篇论文:
hf papers read 2611.16321
还没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用本文的模型 0
没有模型链接到本文
在模型的 README.md 中引用 arxiv.org/abs/2611.16321 即可从本页面链接过去。
引用本文的数据集 1
Small-Bot/slm-leaderboard-taxonomy (https://huggingface.co/datasets/Small-Bot/slm-leaderboard-taxonomy)
引用本文的 Spaces 0
没有 Space 链接到本文
在 Space 的 README.md 中引用 arxiv.org/abs/2611.16321 即可从本页面链接过去。
包含本文的收藏集 0
没有收藏集包含本文
将本文添加到收藏集 (https://huggingface.co/new-collection) 以从本页面链接过去。
相似文章
将大型语言模型理解为数值优化器
该论文研究了将大语言模型(LLM)用作数值优化器,发现它们能够捕捉问题结构并生成近乎最优的解,但可靠性会随着问题维度的增加而下降,而迭代改进可以缓解这一问题,因此推动了将大语言模型与确定性求解器相结合的混合方法。
(迈向)使用大型语言模型的可扩展可靠自动化评估
本文提出了一种可扩展、领域无关的自动化 LLM 评估框架,该框架利用多个 LLM 的成对比较和 Elo 评分系统来近似专家判断,从而减少人工干预的需求。
基于自监督早期退出机制加速大语言模型推理
本文介绍了一种针对大语言模型的自监督早期退出方法,允许在置信度较高时在中间层提前停止计算,从而降低推理成本。此外,还提出了动态自推测解码(DSSD),相比现有基线实现了更高的令牌接受率。
研究人员发现一种可将大语言模型训练计算量减少15%且不牺牲质量的方法
在 EMNLP 2026 上,T-Tech 研究人员介绍了 LIMe,这是一种轻量级注意力扩展,通过复用较早层的键值缓冲区来缓解表征坍缩。在约 10 亿参数的模型上,与基线 LLaMA 相比,它在保持同等质量的同时,将大语言模型的训练计算量减少了约 15%。
LLM 复杂性:迈向大语言模型推理的计算复杂性视角
该论文提出了 LLM 复杂度,这是一种通过准确率–词元数曲线下面积,从 LLM 视角量化问题难度的新指标。研究表明,词元长度与经典时间复杂度并不呈单调对应关系,且该指标能够为监督微调构建稳定的由易到难的课程。