transformer-blocks

一位开发者为llama.cpp的一个分支实现了--skip-layers标志，基于近期论文，允许用户在加载时跳过整个Transformer模块，且性能影响极小。这为在有限硬件上运行大模型提供了另一种方法，与量化和构建时剪枝相辅相成。

本文研究了视觉-语言-动作（VLA）模型中的冗余现象，发现语言主干在机器人操作任务中高度冗余，而视觉和动作路径则更为关键。作者提出了 Drop-Then-Recovery（DTR）和 GateProbe 方法，用于量化并剪枝不必要的模块。实验表明，移除一半的大语言模型（LLM）模块甚至能提升模型性能。