论文页面 - SAEScientist-Bench：AI代理能否进行自主的稀疏自编码器可解释性研究？

来源：https://huggingface.co/papers/2609.09113

摘要

本研究引入一个基准，用于评估使用稀疏自编码器进行自主机制可解释性和特征发现的AI代理，揭示了其进展但与专家基线相比仍存在显著差距。

虽然关于递归自我改进的研究主要关注自动化模型训练流程，但可靠的自主开发缺少一个关键支柱：事后监控与审计，以理解模型学到了什么并确保安全对齐。机制可解释性工具对于弥合这一差距至关重要，其中稀疏自编码器（SAEs）通过隔离可解释特征用于模型检查和引导，充当了基石。在本文中，我们推出了SAEScientist-Bench，以评估AI代理能否作为科学家利用SAE工具进行自主的机制发现。给定一个目标概念，代理设计对照探针并在Gemma-2-9B-IT中包含131K+特征的Gemma Scope字典中导航，以发现最优特征，并根据基于Neuronpedia的精选专家参考特征，就激活排序、对比文本上的概念选择性和因果操控进行评估。跨越10种代理配置和20个任务，前沿代理展示了真正的发现能力，并在不同评估维度上领先，但仍远落后于专家基线，在将目标概念与对比控制分离方面接近专家水平，但在因果生成操控方面则大幅滞后。进一步分析表明，尽管代理可以设计对比以排除虚假候选特征，但它们经常误解实验测量结果。这些结果确立了实验模型理解作为闭环自主AI研发的一个可衡量能力。我们的代码可在https://github.com/Trae1ounG/SAEScientist获取。

查看arXiv页面 (https://arxiv.org/abs/2609.09113) 查看PDF (https://arxiv.org/pdf/2609.09113) GitHub2 (https://github.com/Trae1ounG/SAEScientist) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.09113)

在您的代理中获取此论文：

hf papers read 2609.09113

没有最新CLI？ curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型0

没有模型链接到本文

在模型README.md中引用arxiv.org/abs/2609.09113，以将其链接到此页面。

引用本文的数据集0

没有数据集链接到本文

在数据集README.md中引用arxiv.org/abs/2609.09113，以将其链接到此页面。

引用本文的Spaces0

没有Space链接到本文

在Space README.md中引用arxiv.org/abs/2609.09113，以将其链接到此页面。

包含本文的收藏集0

没有收藏集包含本文

将本文添加到收藏集 (https://huggingface.co/new-collection) 以将其链接到此页面。