论文页面 - 在自然语言自编码器中选择信息量最大的 token

来源：https://huggingface.co/papers/2609.37040

摘要

自然语言自编码器（Natural language autoencoders）将语言模型的内部激活转译为可读的解释。对每个 token 位置都进行解释成本高昂。审计人员为了理解潜在威胁，应该检查哪些位置？我们在 470 万个涉及提示注入与隐藏（prompt injection and concealment）的解释上研究了这一问题。我们将来自模型计算的信号与一个仅基于聊天结构训练的排序器进行了对比。聊天结构通常能选出比计算信号更具相关性的解释，且无需为了选择位置而进行一次模型前向传播。在四个数据集中的三个上，仅解释 5% 的位置即可保留解释所有位置时几乎全部的成功率——这里“成功“指获得一个关于威胁的解释。这一收益因审计任务而异。我们还展示了，预训练的 verbalizer 无需额外训练即可恢复模型通过微调学会隐藏的词语。这些结果指明了审计人员可以集中生成解释的位置，并表明有用的解释可以超越模型在其 verbalizer 训练过程中被要求描述的范围。

查看 arXiv 页面 (https://arxiv.org/abs/2609.37040) · 查看 PDF (https://arxiv.org/pdf/2609.37040) · GitHub 0 (https://github.com/federicotorrielli/nla-token-selector) · 添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2609.37040)

在你的 agent 中获取此论文：

hf papers read 2609.37040

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型

暂无模型与此论文关联。

在模型的 README.md 中引用 arxiv.org/abs/2609.37040 即可将它链接到本页面。

引用此论文的数据集

暂无数据集与此论文关联。

在数据集的 README.md 中引用 arxiv.org/abs/2609.37040 即可将它链接到本页面。

引用此论文的 Space

暂无 Space 与此论文关联。

在 Space 的 README.md 中引用 arxiv.org/abs/2609.37040 即可将它链接到本页面。

包含此论文的合集

暂无合集包含此论文。

将此论文添加到合集 (https://huggingface.co/new-collection) 即可将它链接到本页面。