显然，你可以在加载时跳过整个Transformer模块，且性能影响极小

其好处是提供了另一种技巧，使得原本无法在硬件上运行的模型得以运行。目前人们依赖量化，而这只是一个额外的工具（两者也可结合使用）。受近期（非常酷的）论文启发，我为llama.cpp的一个分支实现了--skip-layers标志，因此它永远不会实例化你指定跳过的模块。构建时剪枝已存在（--prune-layers、mergekit passthrough等）；这只是同一思路的运行时版本。需要注意的是，跳过哪些模块的效果差异可达几个数量级，因此我必须附带一个选择机制。结果、图表和失败案例都在文章里。 - 文章：https://open.substack.com/pub/itayinbarr/p/you-can-skip-llm-layers-at-runtime - 分支：https://github.com/itayinbarr/llama.cpp 欢迎提出你的看法！