跳层还是循环？学习LLM中的Program-of-Layers

Hugging Face Daily Papers 论文
llm dynamic-layers inference-efficiency transformer program-of-layers

摘要

本文介绍了PoLar，一个学习针对冻结transformer层的输入特定执行程序的框架，允许层被跳过、保留或重复。与固定深度方法相比，它提高了准确性并减少了推理开销。

大语言模型（LLM）通过遵循固定的深度和顺序，以非循环方式执行所有层来完成推理。我们揭示了训练无关、灵活且动态的Program-of-Layers（PoLar）的广泛存在，其中预训练层可以作为模块打包，然后针对每个输入跳过或循环以形成定制程序。对于大多数输入，显著更短的程序执行可以达到相同或更好的准确性，而原始LLM的错误预测可以通过使用更少层的替代程序来纠正。这些观察表明，推理除了标准前向传播之外，还允许多种有效的潜在计算。为了在实践中高效实现PoLar，我们提出了一个轻量级的PoLar预测网络，该网络学习为每个输入生成动态跳过或重复预训练层的执行程序。在数学推理基准上的实验表明，PoLar在通常执行更少层的情况下，始终比标准推理和先前的动态深度方法提高准确性，并且这些增益在分布外评估中仍然存在。我们的结果表明，固定深度执行仅捕获了LLM潜在推理能力的一小部分。
查看原文
查看缓存全文

缓存时间: 2026/06/15 09:05

论文页面 - 跳过一层还是循环它？学习LLM中的层程序

Source: https://huggingface.co/papers/2606.06574 这篇论文探讨了LLM推理是否真的需要为每个输入遵循相同的固定层顺序。

我们提出了PoLar，一个层程序框架，将冻结的Transformer层视为可重用的函数。PoLar不是总是按默认顺序执行所有层，而是学习特定于输入的执行程序，这些程序可以在不修改预训练LLM的情况下跳过、保留或重复层段。

一个关键发现是，固定深度推理只是通过更丰富的潜在计算空间的一条路径。许多输入存在替代的有效程序：75.5%已正确的输入有更短的有效程序，36.2%原本错误的输入存在更短的纠正程序。

PoLar用一个轻量级预测器取代了昂贵的每输入搜索，该预测器直接输出层程序，相比标准推理和先前的动态深度方法提高了准确性，同时仅增加约0.8%的推理开销。

Screenshot 2026-06-08 at 10.44.54 (https://cdn-uploads.huggingface.co/production/uploads/668431ccf0236757f43df540/VxE4qRT9p0BfJTYorYNiL.png)

相似文章

@askalphaxiv: 另一项关于循环Transformer的酷研究。他们提出一个问题：“我们能否直接在推理时循环一个冻结的、现成的检查点…

X AI KOLs Timeline

本研究介绍了一种技术，通过使用阻尼Runge-Kutta子步骤，在推理时循环冻结的、现成的Transformer检查点，将Transformer层视为残差ODE中的欧拉步骤。这无需微调、架构更改或新权重即可增加额外的潜在计算，在MMLU-Pro、GPQA和ARC等知识任务上显示出收益。

LoopUS：将预训练大语言模型重塑为循环隐层精炼模型

Hugging Face Daily Papers

LoopUS 是一种后训练框架，通过隐层精炼和自适应早退机制，将预训练大语言模型转换为循环架构，从而提升推理性能。它解决了现有循环计算方法中存在的计算成本高和原有能力受损的问题。