使用双曲几何将LLM学到的概念映射为可浏览树结构的开源工具

Reddit r/artificial 工具

摘要

HyperSAE是一个开源Python库,利用双曲几何将LLM学到的概念组织成可浏览的树状结构,改进了扁平的特征列表。它捕获了Gemma-2-2B模型99.8%的特征,并包含交互式演示。

我构建了HyperSAE,这是一个开源的可解释性工具,用于提取LLM“知道”的内容,并将其组织成树状概念图。其理念是:LLM按层级学习概念。“编程”包含“Python”,而“Python”又包含“列表推导式”。但当前的可解释性工具将所有内容倾倒为包含数千个特征的扁平、无结构列表,毫无组织性。HyperSAE利用了空间呈指数扩展的几何分支(就像树枝那样),因此提取的特征会自然地自组织成父子层级结构。你可以像浏览可导航的树一样查看模型所学到的内容,而不是扫描扁平的特征列表。已在Google的Gemma-2-2B模型上进行测试。可捕获模型99.8%的学习特征(而标准工具为96.2%)。这是一个Python库:pip install hypersae GitHub:https://github.com/vishal-dehurdle/hypersae 带交互式演示的论文:https://vishalvermalabs.com/papers/empirical-validation-hypersae-poincare-geometry/
查看原文

相似文章

Shaped SAEs:扩展机制可解释性的工具箱

arXiv cs.LG

该论文提出了 Shaped SAEs,包括一种 Matched Filter SAE(MF-SAE),它通过基于 Jacobian 的降秩变换对 LLM 激活进行线性整形,再学习稀疏自编码器,以提升字典原子的语义选择性,并在 SAEBench 和 SAE Probes 上进行了评估。

HSG:双曲场景图

Hugging Face Daily Papers

# 论文页面 - HSG:双曲场景图 来源:[https://huggingface.co/papers/2604.17454](https://huggingface.co/papers/2604.17454) 在你的 agent 中获取这篇论文:`hf papers read 2604\.17454` 还没有最新的 CLI?`curl \-LsSf https://hf\.co/cli/install\.sh \| bash` ## 引用本文的模型0 暂无模型关联此论文 在模型的 README.md 中引用 arxiv\.org/abs/2604\.17454,即可从此页面链接到它\. ## 引用本文的数据集0 暂无数据集关联此论文 引用 arxiv\.org/abs/2604\.