weight-sparse-transformers

本文介绍了一种自动化的大语言模型流水线，用于生成并验证关于Transformer中单个权重何时起作用的、人类可读的描述。研究发现，在权重稀疏的Transformer中，12%至31%的权重在全局范围内具有可解释性，其表现优于稠密Transformer。