sae-features

本文介绍了特征非局域性（FNL），一种基于熵的度量指标，用于衡量大型语言模型中SAE特征的语义抽象度，并展示了其在审计越狱缓解特征和通过引导提高MATH-500准确率方面的应用。