论文页面 - 扩展本质上可解释的语言模型

摘要

可解释性常常被视为一种对能力的损耗：语言模型作为不透明系统进行训练，随后在事后加以解释，而所用方法的可靠性难以确定。在这项工作中，我们挑战了这一前提。我们不是对模型进行逆向工程，而是将可解释性作为训练流程中的一个约束条件，与语言建模目标一同优化。在跨越三个数量级的计算规模上，无论是自回归语言模型还是扩散语言模型，可解释性都随能力提升而增强，而非与之相悖。令人惊讶的是，随着规模扩大，模型表征变得更加解耦，并且与人类可理解的概念更加对齐。我们用 Steerling-8B 实例化了这一训练时方案，它是一个带有因果注意力掩码的扩散语言模型。对于任意一组生成的 token，Steerling-8B 都将输出归因于相关的输入 token、人类可理解的概念以及训练数据。这实现了闭环干预：通过概念或特征归因诊断输出，检索相似训练数据，并在无需重新训练的情况下通过概念引导纠正行为。Steerling-8B 仍然与使用大量（2-16 倍）更多算力训练的开源同类模型具有竞争力，这表明了一种不同的扩展范式：可解释性可以被设计进入训练，并随规模扩大而改进。

查看 arXiv 页面 (https://arxiv.org/abs/2608.07594)查看 PDF (https://arxiv.org/pdf/2608.07594)项目页面 (https://www.guidelabs.ai/papers/scaling-inherently-interpretable-language-models/)GitHub238 (https://github.com/guidelabs/steerling)添加到集合 (https://huggingface.co/login?next=%2Fpapers%2F2608.07594)

引用此论文的模型0

暂无模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2608.07594，即可从本页面链接到它。

引用此论文的数据集0

暂无数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2608.07594，即可从本页面链接到它。

引用此论文的 Spaces0

暂无 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2608.07594，即可从本页面链接到它。

包含此论文的合集0

暂无合集包含此论文

将此论文添加到集合 (https://huggingface.co/new-collection)中，即可从本页面链接到它。