标签
一位开发者为llama.cpp的一个分支实现了--skip-layers标志，基于近期论文，允许用户在加载时跳过整个Transformer模块，且性能影响极小。这为在有限硬件上运行大模型提供了另一种方法，与量化和构建时剪枝相辅相成。