标签
LayerRoute引入了一种参数高效的自适应transformer层跳过方法，结合了逐层路由与联合LoRA微调，在LLM推理中实现了经过验证的速度提升和质量改进。
本文呈现了一项严格对照的审计，比较了用于高效LLM推理的周期步进层跳过方法，如ConfLayers和SWIFT，并分析了训练的路由替代方案，发现SWIFT在准确性和真实推理速度上更优。
CausalGate引入了一种方法，通过因果干预测量Transformer子层的重要性，并将其蒸馏为静态标量门控，实现高效推理且无运行时开销，优于现有的剪枝和路由方法。
本文介绍了一种名为Program-of-Layers（PoLar）的方法，它允许大语言模型根据每个输入动态地跳过或循环预训练层，从而在固定深度推理的基础上提高准确性和效率。