论文页面 - Library of Layers (LoL)：运行时自适应排序 Transformer 层

来源：https://huggingface.co/papers/2611.03526

摘要

Library of Layers 在推理过程中动态排列 Transformer 块的顺序，使计算能够根据任务自适应调整，从而实现参数复用、稀疏化以及可解释的路由，适用于推理、多语言和安全等多种场景。

计算机程序员将相同的可复用计算原语（例如条件语句或循环）以不同顺序链接，从而实现不同的算法。相比之下，现有的语言模型架构始终以相同顺序执行其各层。我们提出 Library of Layers（https://huggingface.co/papers?q=Library%20of%20Layers）（简称 LoL），一种在推理过程中动态排列层顺序以解决当前任务的架构。LoL 仅有一个超参数，即其全局 transformer 块（https://huggingface.co/papers?q=transformer%20blocks）库的大小，这使它能够在参数复用（https://huggingface.co/papers?q=parameter%20reuse）与稀疏化（https://huggingface.co/papers?q=sparsity）之间无缝过渡，将稠密（dense）、深度循环（depth-recurrent，https://huggingface.co/papers?q=depth-recurrent）以及混合专家（mixture of experts，https://huggingface.co/papers?q=mixture%20of%20experts）架构在参数效率与 FLOPs 效率之间的权衡统一到一个通用框架中。我们表明，在文本数据上预训练后，LoL 能够与上述三种基线模型相媲美。在合成数独和迷宫数据上，我们观察到模型采用不同的层顺序来实现不同的求解策略，并且我们可以干预路由（https://huggingface.co/papers?q=routing），强制模型对特定问题实例应用特定的求解策略。在多语言自然语言场景中，我们发现 LoL 会根据语言和文字系统选择不同的层顺序模式。类似地，我们在安全数据上训练 LoL 并对其路由器输出（https://huggingface.co/papers?q=router%20outputs）拟合探针，发现这些探针能够以很高的 AUROC 区分安全与不安全的文本。LoL 为模型动态组合自身计算图的未来提供了路径，从而实现更高效、更可控的推理。

查看 arXiv 页面 (https://arxiv.org/abs/2611.03526)｜查看 PDF (https://arxiv.org/pdf/2611.03526)｜GitHub (https://github.com/arahmani1/library-of-layers)｜加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2611.03526)

在你的 agent 中获取这篇论文：

hf papers read 2611.03526

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型 0

没有模型关联此论文。

在模型 README.md 中引用 arxiv.org/abs/2611.03526 即可从本页面链接。

引用该论文的数据集 0

没有数据集关联此论文。

在数据集 README.md 中引用 arxiv.org/abs/2611.03526 即可从本页面链接。

引用该论文的 Spaces 0

没有 Space 关联此论文。

在 Space README.md 中引用 arxiv.org/abs/2611.03526 即可从本页面链接。

收录该论文的合集 0

没有合集收录此论文。

将此论文加入合集（https://huggingface.co/new-collection）即可从本页面链接。