activation-geometry

ICA Lens 重新引入独立成分分析作为解读语言模型表示的高效方法，提供了一种比稀疏自编码器训练更快的替代方案，同时保持有竞争力的性能。

本文研究了秩1激活引导在何时有效且具成本效益，提出了几何引导搜索和粒度的概念来解释变异性，并引入了GRACE框架用于高效的大语言模型控制。