标签
本文提出Targeted Parameter Decomposition (tPD)方法，可针对特定输入选择性地从神经网络中恢复可解释的权重空间机制，相比全分解大幅降低计算需求。通过在玩具模型和Transformer语言模型上的验证，tPD能够忠实地恢复电路并进行手术级消融，且副作用极小。
GoodfireAI分享了关于使用探针改进LLM校准和检测推理忠实度的研究，以及一场使用其产品Silico通过参数分解进行定向微调的黑客马拉松。