论文页面 - WriteSAE：面向循环状态的稀疏自编码器

来源：https://huggingface.co/papers/2605.12770

摘要

WriteSAE 实现了对状态空间和混合循环语言模型中矩阵缓存写入的稀疏自编码器分解与编辑，在词元级干预中取得了优于现有方法的性能。

我们介绍了 WriteSAE，这是首个对状态空间和混合循环语言模型的矩阵缓存写入进行分解与编辑的稀疏自编码器，而残差 SAEs 无法达到这些位置。现有的 SAEs 读取残差流，但 Gated DeltaNet、Mamba-2 和 RWKV-7 通过秩为1的更新 k_t v_t^top 写入一个 d_k × d_v 的缓存，任何向量原子都无法替代。WriteSAE 将每个解码器原子分解为原生写入形状，暴露了每个词元对数几率偏移的闭式解，并在匹配的弗罗贝尼乌斯范数下训练，使得原子每次交换一个缓存槽。

原子替换在 Qwen3.5-0.8B L9 H4 的 n=4,851 次触发中，以 92.4% 的比例优于匹配范数消融，87 原子群体测试保持在 89.8%，闭式解以 R²=0.98 预测测量效果，Mamba-2-370M 在 2,500 次触发中替换率为 88.1%。在贪婪解码下，持续的三位置安装将中位目标续写从 33.3% 提升至 100%（提升 3 倍），这是首次在矩阵循环写入位点实现行为安装。

查看 arXiv 页面查看 PDF项目页面GitHub添加到收藏

在您的智能体中获取本文：

hf papers read 2605\.12770

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 1

JackYoung27/writesae-ckpts 特征提取 • 更新于大约 2 小时前 (https://huggingface.co/JackYoung27/writesae-ckpts)

引用本文的数据集 0

暂无链接本文的数据集

在数据集 README.md 中引用 arxiv.org/abs/2605.12770 即可从本页链接。

引用本文的 Spaces 0

暂无链接本文的 Space

在 Space README.md 中引用 arxiv.org/abs/2605.12770 即可从本页链接。

包含本文的收藏集 0

暂无包含本文的收藏集

将本文添加至收藏集即可从本页链接。