activation-geometry

本文介绍了Mining via Activation Geometry (MAG)，这是一个无监督框架，通过自然语言指令从LLM激活中提取推理特征，从而实现激活引导和分类器探针的有效训练数据选择。

ICA Lens 重新引入独立成分分析作为解读语言模型表示的高效方法，提供了一种比稀疏自编码器训练更快的替代方案，同时保持有竞争力的性能。

本文研究了秩1激活引导在何时有效且具成本效益，提出了几何引导搜索和粒度的概念来解释变异性，并引入了GRACE框架用于高效的大语言模型控制。