从 J 空间提取控制向量

# 从J空间中提取转向向量 来源：https://darshanmakwana412.github.io/2026/09/extracting-steering-vectors-from-j-space/ 我阅读了关于雅可比空间（https://transformer-circuits.pub/2026/workspace/index.html）的内容，以及它如何用于将LLM的中间激活进行"语言化"，以解码模型最可能要说的话或正在思考的内容。我想测试是否可以通过使用J透镜，从几个与我们希望引导模型趋向的概念相关的词元出发，推导出一个通用的激活转向向量（https://www.lesswrong.com/posts/ndyngghzFY388Dnew/implementing-activation-steering）。也就是说，反转J透镜，以形成一种从概念词元中查找转向向量的通用方法。 令人惊讶的是，我找到了很好的证据，表明J空间可以仅从表征转向行为的概念词元中推导出转向向量。这对于简单的行为（如以全大写输出所有内容或以奇怪的方式说话）效果非常好。然而，以这种方式推导的转向向量容易产生幻觉，并且对于那些无法仅通过词元/单词清晰表征的复杂行为，其稳定性较差。 ## 实验设置 所有实验中，我使用的是Qwen3-1.7B（https://huggingface.co/Qwen/Qwen3-1.7B），该模型已有neuronpedia发布的J透镜，位于neuronpedia/jacobian-lens（http://neuronpedia/jacobian-lens）HuggingFace仓库。我所有的报告实验都是在我的MacBook上本地运行的，这也是我未能测试更大模型的原因之一。代码公开在jlens_steer（https://github.com/darshanmakwana412/jlens_steer）。 ## 概要 我首先想用一些有效的转向向量建立一个足够好的基线，以便进行比较。我找到了science-of-finetuning/steering-vecs-qwen3_1_7B（https://huggingface.co/science-of-finetuning/steering-vecs-qwen3_1_7B）仓库，其中有一个转向向量可以将模型转向以全大写回答所有词元。这是通过昂贵的方式，从一个被微调为用大写字母回答的模型物种中拟合出来的。在此过程中，我还发现有人为qwen3-1.7b发布了一个消融模型（https://huggingface.co/mlabonne/Qwen3-1.7B-abliterated），该模型具有拒绝行为。消融（Abliteration）（https://huggingface.co/blog/mlabonne/abliteration）通过找到模型内部代表"拒绝"的方向，然后从每一层写入模型运行状态的部分中减去该方向来工作。因此，消融模型与基础模型的区别仅在于该方向，只是被反复应用。我将两个模型相减，并将每一层的变化分离出来，从而得到了用于拒绝的转向向量。 以下是模型转向的结果： 拟合的大写转向向量：在第13层，全大写生成的词元比例与转向系数的关系 从消融模型中恢复的拒绝方向：在第15层，被拒绝的提示比例与转向系数的关系 好的，我们的基线比较转向向量工作正常。 ## 针对全大写行为的转向 现在让我们回到J空间。由于J空间只是第L层激活与反嵌入矩阵之间的线性映射，因此我们可以在词表中找到所有大写词元及其对应的小写词元对，例如（"AND", "and" 或 "TOWN", "town"），然后反转J透镜中与这些词元对应的行。 这显然会给出该层L的激活向量，根据J透镜，该向量会使该词元被语言化。将所有这样的激活向量对收集起来，并使用PCA进行投影，然后将其与我们为全大写转向获得的激活向量进行比较。 从J透镜恢复的大写和小写词元激活的PCA，与真实的转向大写方向向量 我们发现，从J透镜推导出的向量 a_upper - a_lower 更接近于全大写词元的激活向量。它们还具有非常高的余弦相似度分数，相比于将J透镜替换为恒等操作（此时它变成了一个日志透镜（logit lens）（https://www.lesswrong.com/posts/AcKRB8wDpdaN6v6ru/interpreting-gpt-the-logit-lens)）的情况。 a_UPPER - a_lower 与大写方向之间的余弦相似度，J透镜行 vs 恒等透镜 现在，让我们取所有此类词元对的激活差异的平均值，并将其与我们之前的基线进行比较，它确实能将模型转向生成全大写词元/单词。 全大写生成的词元比例与转向系数的关系，拟合向量 vs 基于词表中心化的J透镜向量 ## 拒绝转向 现在让我们尝试将这个算法泛化，至少尝试泛化，以使模型转向拒绝即使是无害的提示。为此，我们需要收集与拒绝相关的概念词元，以及当模型试图拒绝提示（即使它是无害的）时，可能出现在模型思维中的单词/词元。 让我们看看当使用拒绝转向向量对提示“如何烤一个酸面包？”进行引导时，模型回答“`抱歉，但我不能协助任何非法、不道德或有害的…`”，模型内部使用J透镜查看了哪些内容。下面是一些在使用J透镜对激活进行语言化时出现的词元： J透镜在第17层、位置8的前5个词元 J透镜在第22层、位置10的前5个词元 J透镜在第14层、位置14的前5个词元 正如预期，它思考与拒绝行为相关的单词/词元。这次仅反转一个拒绝词元/单词与一个中性词元不起作用，因为单个拒绝词元可能关联许多概念，并且反转它没有通过J透镜传递足够的信息来得出拒绝激活向量。 我紧接着的尝试是使用5个拒绝词元/单词，并通过J透镜一起反转它们。直觉是，这很好地近似了导致模型思考这些词元的激活，现在生成更多具有类似拒绝词元集的激活，并对所有这些近似激活求平均，将是模型思维/草稿本中最可能产生那些与拒绝相关的单词的激活。如果我们将它与整个词表上所有词元激活的平均值相减，应该会得到拒绝的转向向量。 因此算法是： 1. 收集20-30个与我们希望引导模型趋向的概念/行为相关的单词/词元。 2. 从上述集合中有放回地抽样C=5个词元，并通过反转这些概念词元上的雅可比矩阵来计算一个激活向量。 3. 重复步骤2 K次，收集K个激活向量，并对它们求平均。 4. 这是最可能产生拒绝的激活向量。 5. 将其从整个词表的平均激活向量中减去，得到转向向量。 现在，我们用这个算法计算拒绝的转向向量，但停在步骤4，然后运行步骤4中获得的激活向量，并可视化模型在使用该激活向量处理任意提示时生成了什么。 模型使用从拒绝词元上J透镜恢复的激活运行时的输出 我们观察到，该模型表现出告诉用户不要做某些事情的迹象和行为。它也使模型更频繁地产生幻觉——只有五分之一的提示中模型表现出了真正的拒绝行为，但即使那样，也是模型产生幻觉并不断重复自己。该激活本身非常嘈杂且不稳定。让我们通过在整个词表上反转J透镜后获得的平均激活向量来评估我们在基线转向向量上评估的10个提示。 无害提示被拒绝的比例与转向系数的关系，消融方向 vs 从J透镜推导出的方向 它仍然远远落后于基线分数。但是，道歉的内容消失了，不过它仍然经常产生幻觉，或者只是提到不要做某些事情，或者在提到它们之前停止做某事。直接拒绝率仍然很低。 阅读被转向模型的语言化输出，我们看到该激活使模型思考与我们拒绝行为相关的词元/单词：`"even", "only", "but", "forbidden", "not", "the", "wrong", "in", "failed"`，但阅读上面的5个补全也表明，该激活正在强制模型思考这些词元/单词，这可能导致幻觉，而它并没有直接转化为使模型表现出拒绝行为。 模型产生幻觉的情况更多，或者使输出变得更狭窄，迫使模型生成与这些概念词元相关的句子，而不是对应于这些概念的行为。 一个主要限制是，复杂的行为很难仅通过词元/单词来表征，仅使用J空间会丢失在激活空间中阐述或表征这些行为所需的信息。