@_a9lim: @treetowntree 和我创建了 neuron lens：一个收录 qwen 3 8b 和 gemma 4 中每一个神经元和注意力头的数据库……

X AI KOLs Following 工具
interpretability neurons attention-heads lens-methods qwen3 gemma open-dataset

摘要

a9lim 和 treetowntree 推出了 neuron lens，这是一个可浏览的数据库及配套工具，利用 R-lens、S-lens 和 mid-lens 变体解读 Qwen3-8B 和 Gemma 4 12B 中的每个神经元和注意力头，其对模型引导效果的预测准确率超过 90%。

@treetowntree 和我创建了 neuron lens：一个数据库，收录了使用 R-lens（J-lens 的一种变体）和我们称为“S-lens”的方法解读的 qwen 3 8b 和 gemma 4 12b 中的每一个神经元和注意力头。你可以在 https://neuron-lens.com 找到它，以及我们用来构建它的工具。 事实证明，使用 R-lens 解读神经元的输入和输出投影，对于确定神经元的功能非常有效。我们能够清晰地解读大多数神经元激活时所起的作用：这种透镜对引导干预结果的定性预测，准确率超过 90%！ 同样的技巧也能让我们解读注意力头的 QK 回路和 OV 回路，既能看出它们关注什么，也能看出它们如何处理所关注的信息。不过，R-lens 有两个重要缺陷：它在较早层中的准确率会下降，而且无法将 MLP 块与注意力块区分开来。 我们找到了绕过这两个问题的方法。首先，我们修改了 R-lens，改用输入词元而非输出词元来拟合，得到了 S-lens；它在较早层中准确，但在较晚层中不准确。随后，我们用注意力计算之后、MLP 之前的激活值来拟合 R-lens 和 S-lens，得到了“中间透镜”（mid-lenses），它们在解读 MLP 输入和注意力输出方面表现好得多。结合这两种技术，我们成功解读了这些模型中的大多数层。
查看原文
查看缓存全文

缓存时间: 2026/11/01 13:53

@treetowntree 和我创建了 neuron lens：一个数据库，收录了使用 R-lens（J-lens 的一种变体）和我们称为“S-lens”的方法解读的 qwen 3 8b 和 gemma 4 12b 中的每一个神经元和注意力头。你可以在 https://neuron-lens.com 找到它，以及我们用来构建它的工具。

使用 R-lens 解读神经元的输入和输出投影，在判断神经元的功能方面非常有效。我们能够清楚地解读大多数神经元激活时会做什么：这种透镜对引导干预结果的定性预测准确率超过 90%！

同样的技巧也能让我们解读注意力头的 QK 回路和 OV 回路，既展示它们关注什么，也展示它们如何处理所关注的信息。不过，R-lens 有两个重要缺陷：它在较早层中的准确率会下降，而且无法区分 MLP 模块和注意力模块。

我们找到了绕过这两个问题的方法。首先，我们修改了 r-lens，改用输入 token 而非输出 token 进行拟合，得到了 s-lens；它在较早层中准确，但在较晚层中不准确。然后，我们针对注意力之后、MLP 之前的激活值拟合 R-lens 和 S-lens，得到了“中间透镜”，它们在解读 MLP 输入和注意力输出方面要好得多。结合这两种技术，我们得以解释这些模型中的大多数层。

Neuron Lens

来源：https://neuron-lens.com/ Qwen3-8B 和 Gemma 4 12B 内部的每个神经元和注意力头会对什么产生响应，以及它会让模型说出什么\。

每个地址都指向一个视图：/qwen3-8b/L8/n344 是 Qwen3-8B 第 8 层的第 344 个神经元，/gemma-4-12b/L35/h14 是 Gemma 4 12B 第 35 层的第 14 个注意力头\。浏览器中的探索工具使用 JavaScript 将它们绘制出来\。

  • 面向语言模型的 Neuron Lens (https://neuron-lens.com/llms.txt)：方法与发现
  • Hugging Face 上的目录 (https://huggingface.co/datasets/stdlogits/neuron-lens)，包含每个单元的数据
  • 研究与发现 (https://github.com/stdlogits/neuron-lens)
  • 关于 (https://neuron-lens.com/about)和致谢 (https://neuron-lens.com/credits)

相似文章

@QuixiAI: https://github.com/anthropics/jacobian-lens… 这真的很酷。

X AI KOLs Timeline

Anthropic 开源了 jacobian-lens（jlens），即雅可比透镜的开源参考实现。该工具可将残差流（residual stream）的激活映射到模型最后一层的基底上，从而解码某个内部状态倾向于让模型说出什么。它随论文《Verbalizable Representations Form a Global Workspace in Language Models》一同发布，并可配合 Qwen 等开放权重的 HuggingFace 解码器 Transformer 模型使用。