原型语言模型

# 原型语言模型 来源：https://arxiv.org/html/2607.00510 \\GuideLabsFakeBoldTitleOn\\GuideLabsUseSatoshiAbstractTexttrue\\GuideLabsAffiliations 1哈佛大学2Guide Labs Inc. *在Guide Labs实习期间启动的工作。\\GuideLabsHeroFigurefigures/00\_hero.png\\GuideLabsSetTocEntryColorGuideLabsTocPurple\!50\!black\\GuideLabsSetTocSecSkip10pt ###### 摘要 了解哪些训练示例驱动输出是审计、纠正和理解语言模型的基础，但对于现代LLM来说，这仍然昂贵、近似且大多是事后进行的。标准语言模型通过密集的网络路径生成词元，导致训练数据的影响分布在参数中，而不是沿着显式、可追踪的组件组织起来。我们引入了一种原型语言模型架构，即用于可解释序列建模的原型（PRISM），它通过稀疏的、非负的学习原型混合来形成每个预测，并使用聚类目标进行训练，这些目标将每个原型锚定到训练示例的连贯邻域。在从1.3亿到16亿参数、训练多达500亿词元的架构中，原型语言模型在平均下游准确率上要么超过匹配的密集基线，要么保持在2.5个百分点以内。我们展示了稀疏原型结构局部化了损失景观中的曲率，产生了更易处理的Hessian矩阵，并在消耗相同内存时，使训练数据归因比事后基准快约500倍。校准线性原型控制器可以将下游准确率提高约3个百分点，同时将这些修正追溯回训练邻域，而针对性的原型抑制可以在不进行微调或可测量的生成质量损失的情况下移除模型行为。 \\GuideLabsAbstractBrandTextOff \\GuideLabsPrintHero ###### 目录 1. 1 引言 (https://arxiv.org/html/2607.00510#S1) 2. 2 PRISM：用于可解释序列建模的原型 (https://arxiv.org/html/2607.00510#S2) 1. 2.1 热身：在语言建模中重振ProtoPNet (https://arxiv.org/html/2607.00510#S2.SS1) 2. 2.2 稀疏原型重构 (https://arxiv.org/html/2607.00510#S2.SS2) 3. 2.3 自动可解释性流水线 (https://arxiv.org/html/2607.00510#S2.SS3) 3. 3 将TinyStories用作显微镜 (https://arxiv.org/html/2607.00510#S3) 1. 3.1 原型预测的解剖 (https://arxiv.org/html/2607.00510#S3.SS1) 2. 3.2 训练与可解释性动态 (https://arxiv.org/html/2607.00510#S3.SS2) 3. 3.3 原型结构被学习到骨干网络中 (https://arxiv.org/html/2607.00510#S3.SS3) 4. 4 原型子空间中的训练数据归因 (https://arxiv.org/html/2607.00510#S4) 1. 4.1 聚类局部化了原型空间中的曲率 (https://arxiv.org/html/2607.00510#S4.SS1) 2. 4.2 可缓存的原型空间影响函数 (https://arxiv.org/html/2607.00510#S4.SS2) 3. 4.3 缓存的归因以更低成本保留信号 (https://arxiv.org/html/2607.00510#S4.SS3) 5. 5 扩展原型语言模型 (https://arxiv.org/html/2607.00510#S5) 1. 5.1 扩展设置与下游性能 (https://arxiv.org/html/2607.00510#S5.SS1) 2. 5.2 训练稳定性与效率 (https://arxiv.org/html/2607.00510#S5.SS2) 6. 6 原型开启的新工作流程 (https://arxiv.org/html/2607.00510#S6) 1. 6.1 通过原型理解模型行为 (https://arxiv.org/html/2607.00510#S6.SS1) 2. 6.2 原型控制器提升性能并将修正追溯至训练数据 (https://arxiv.org/html/2607.00510#S6.SS2) 3. 6.3 无需微调的偏好对齐 (https://arxiv.org/html/2607.00510#S6.SS3) 7. 7 局限性与未来路线图 (https://arxiv.org/html/2607.00510#S7) 1. 7.1 序列和文档归因 (https://arxiv.org/html/2607.00510#S7.SS1) 2. 7.2 Hessian感知模型设计 (https://arxiv.org/html/2607.00510#S7.SS2) 3. 7.3 深层原型语言模型 (https://arxiv.org/html/2607.00510#S7.SS3) 4. 7.4 重新训练与学习到的归因目标 (https://arxiv.org/html/2607.00510#S7.SS4) 8. 8 相关工作 (https://arxiv.org/html/2607.00510#S8) 9. 9 结论 (https://arxiv.org/html/2607.00510#S9) 10. 参考文献 (https://arxiv.org/html/2607.00510#bib) 11. A 归因的原型空间理论 (https://arxiv.org/html/2607.00510#A1) 1. A.1 固定支撑原型空间Hessian (https://arxiv.org/html/2607.00510#A1.SS1) 2. A.2 归一化残差耦合 (https://arxiv.org/html/2607.00510#A1.SS2) 3. A.3 局部切线刚度 (https://arxiv.org/html/2607.00510#A1.SS3) 4. A.4 角聚类作为对齐的局部极限 (https://arxiv.org/html/2607.00510#A1.SS4) 12. B TinyStories详情 (https://arxiv.org/html/2607.00510#A2) 1. B.1 TinyStories微调设置 (https://arxiv.org/html/2607.00510#A2.SS1) 2. B.2 TinyStories骨干诊断 (https://arxiv.org/html/2607.00510#A2.SS2) 13. C 实验设置 (https://arxiv.org/html/2607.00510#A3) 1. C.1 骨干与PRISM实现 (https://arxiv.org/html/2607.00510#A3.SS1) 2. C.2 具体规模的训练设置 (https://arxiv.org/html/2607.00510#A3.SS2) 3. C.3 评估 (https://arxiv.org/html/2607.00510#A3.SS3) 4. C.4 吞吐量基准 (https://arxiv.org/html/2607.00510#A3.SS4) 14. D 原型引导与对齐 (https://arxiv.org/html/2607.00510#A4) 1. D.1 分组原型引导 (https://arxiv.org/html/2607.00510#A4.SS1) 2. D.2 单一原型引导 (https://arxiv.org/html/2607.00510#A4.SS2) 3. D.3 无需微调的对齐 (https://arxiv.org/html/2607.00510#A4.SS3) 1. D.3.1 模型与生成设置 (https://arxiv.org/html/2607.00510#A4.SS3.SSS1) 2. D.3.2 NSFW原型识别 (https://arxiv.org/html/2607.00510#A4.SS3.SSS2) 3. D.3.3 评估协议 (https://arxiv.org/html/2607.00510#A4.SS3.SSS3) 4. D.3.4 分析 (https://arxiv.org/html/2607.00510#A4.SS3.SSS4) 4. D.4 定性示例 (https://arxiv.org/html/2607.00510#A4.SS4) ## 1 引言 当一个语言模型（LM）生成有害回复、受版权保护的内容或做出不准确的事实断言时，一个自然的后续问题是：哪些训练数据使得那个输出成为可能？训练数据归因（TDA）包括一系列技术来回答这个问题，描述个体示例、示例组或更广泛的训练来源如何影响模型预测（Hammoudeh and Lowd,2024 (https://arxiv.org/html/2607.00510#bib.bib39); Deng et al.,2025 (https://arxiv.org/html/2607.00510#bib.bib25)）。TDA方法对于数据估值（Ghorbani and Zou,2019 (https://arxiv.org/html/2607.00510#bib.bib31)）、解释和调试模型行为（Koh and Liang,2017 (https://arxiv.org/html/2607.00510#bib.bib53); Grosse et al.,2023 (https://arxiv.org/html/2607.00510#bib.bib33)）以及理解数据集偏差（Kong et al.,2022 (https://arxiv.org/html/2607.00510#bib.bib54); Wang et al.,2023 (https://arxiv.org/html/2607.00510#bib.bib95)）很有用。更广泛地说，TDA通过询问训练数据如何产生特定的测试时行为，提供了一种模型泛化的科学。 对于现代LM来说，将模型的输出追溯到训练数据是困难的，因为许多行为并不与单个记忆化的片段相关联（Carlini et al.,2021 (https://arxiv.org/html/2607.00510#bib.bib13)）。它们从分布在数十亿、或许数万亿训练词元中的广泛模式中涌现出来（Kandpal et al.,2023 (https://arxiv.org/html/2607.00510#bib.bib48)）。标准语言模型通过密集训练的路径生成每个词元，其中变压器骨干使用跨许多学习参数和表示坐标的分布式计算，将上下文词元映射到隐藏状态。一个同样密集的输出头然后将该隐藏状态映射到下一个词元logits。训练数据通过在这些路径的参数上的累积效应间接影响预测。因此，训练示例的影响不是沿着显式、可检查的组件组织起来的。它分布在许多参数中，并且只能通过具有挑战性的事后分析来恢复。 参考图注 图1：PRISM中的原型化下一个词元预测。给定一个提示，PRISM在当前位置激活一组稀疏的学习原型，并通过总结它们的词元贡献来形成logits，从而产生一个可解释的预测基础：为了解释为什么偏好某个词元，我们检查哪些原型被激活，每个原型对候选词元的贡献有多大，以及这些原型代表哪些训练邻域。降低与不受欢迎模式相关联的原型的权重，可以在不进行微调的情况下抑制相应的续写。 现有的TDA方法面临两个叠加的挑战：大规模计算效率低下，以及由于训练流程中的随机性导致的统计错误指定。最流行的TDA方法是基于梯度的，近似逆Hessian向量积（iHVP）以避免昂贵的重新训练。精确的iHVP计算在大规模下不可行，促使了一系列近似方法：影响函数（Koh and Liang,2017 (https://arxiv.org/html/2607.00510#bib.bib53)）、Arnoldi迭代（Schioppa et al.,2022 (https://arxiv.org/html/2607.00510#bib.bib82)）、KFAC/EKFAC（Martens and Grosse,2015 (https://arxiv.org/html/2607.00510#bib.bib66); Grosse et al.,2023 (https://arxiv.org/html/2607.00510#bib.bib33)）、随机投影/草图方法（Park et al.,2023 (https://arxiv.org/html/2607.00510#bib.bib73); Schioppa,2024 (https://arxiv.org/html/2607.00510#bib.bib81); Chang et al.,2025 (https://arxiv.org/html/2607.00510#bib.bib14)）以及改进的iHVP求解器（Wang et al.,2026 (https://arxiv.org/html/2607.00510#bib.bib94)），其中每种近似都以保真度为代价换取可扩展性，同时继续在密集参数上进行事后操作。 第二种失败模式更为根本：大多数基于梯度的TDA方法假设一个确定的、凸的优化目标，并且已经收敛，而当代语言模型不满足这些条件（Cohen et al.,2022 (https://arxiv.org/html/2607.00510#bib.bib20)）。这种错误指定有具体的后果，即训练示例重要性的估计可能无法匹配留一法重新训练的结果，并且可能对模型训练流程的关键组件敏感，包括深度、宽度、小批量大小和数据顺序（Basu et al.,2021 (https://arxiv.org/html/2607.00510#bib.bib8); Bae et al.,2022 (https://arxiv.org/html/2607.00510#bib.bib6); Schioppa et al.,2023 (https://arxiv.org/html/2607.00510#bib.bib83)）。更根本的是，因为每个训练运行都是从最终模型分布中采样（D’Amour et al.,2022 (https://arxiv.org/html/2607.00510#bib.bib22); Mlodozeniec et al.,2026 (https://arxiv.org/html/2607.00510#bib.bib68)），这些方法可能会将训练示例的影响与随机训练引入的噪声混淆，从而削弱其有效性。解决这个问题需要对多个训练运行进行平均（Ilyas et al.,2022 (https://arxiv.org/html/2607.00510#bib.bib47)），这是非常昂贵的。 在这项工作中，我们直接解决上述挑战。为了实现我们的目标，我们通过在模型架构和训练目标层面进行干预（秉承可解释性设计建模的精神（Rudin,2019 (https://arxiv.org/html/2607.00510#bib.bib77)）），从而背离了对密集参数的事后归因。密集TDA既需要估计一个查询方向，也需要检索与该方向一致的训练示例。为此，我们重新阐述了归因问题：不是在完整的参数空间中反转一个病态的Hessian，而是通过在学习的表示（原型）空间中进行检索来执行归因，从而通过构建将归因锚定到模型的可解释组件，实现了可扩展的归因，并解决了统计错误指定问题。我们的方法，如图1 (https://arxiv.org/html/2607.00510#S1.F1)所示，受到基于案例推理文献的启发（Aamodt and Plaza,1994 (https://arxiv.org/html/2607.00510#bib.bib1)），其中模型以“这看起来像那个”的格式，根据学习的范例来揭示决策背后的组件（Li et al.,2018 (https://arxiv.org/html/2607.00510#bib.bib57); Chen et al.,2019 (https://arxiv.org/html/2607.00510#bib.bib15)）。我们引入了用于可解释序列建模的原型（PRISM），这是第一个为下一个词元预测训练的、LLM规模的原型语言模型家族。PRISM通过稀疏的、非负的学习原型混合来形成每个预测，并使用聚类目标进行训练，这些目标将每个原型锚定到学习到的训练示例邻域。每个词元表示激活一小部分原型，这些原型重构用于形成下一个词元logits的隐藏状态。图2 (https://arxiv.org/html/2607.00510#S1.F2)展示了对于一个生成的词元，PRISM如何揭示哪些原型被激活，这些原型如何贡献给输出logits，以及哪些训练上下文与激活的原型相关联。 参考图注 图2：生成分解与检索到的FineWeb证据（Penedo et al.,2024 (https://arxiv.org/html/2607.00510#bib.bib75)）。PRISM-1.6B在每一步将其自身的下一个词元预测分解为激活的原型贡献，并检索相关证据。原型根据其关联的训练证据和激活上下文自动进行标记。 我们的贡献是： 1. 1. 架构。我们引入了PRISM，一种原型语言模型，通过稀疏的、非负的、基于训练的学习原型混合来形成每个预测，将基于案例推理的范式扩展到LLM规模的自回归建模（第2节 (https://arxiv.org/html/2607.00510#S2)）。 2. 2. 理论与归因。我们展示了稀疏原型结构和聚类目标局部化了损失景观中的曲率，产生了一个更接近块对角的结构化原型空间Hessian，并在消耗相同内存时，使可扩展的TDA比密集梯度方法快约500倍（第4节 (https://arxiv.org/html/2607.00510#S4)）。 3. 3. 经验性能与控制。在从1.3亿到16亿参数、训练多达500亿词元的模型中，PRISM在下游基准测试中与密集基线持平，或保持在2.5个百分点以内。我们进一步展示了原型空间控制器将下游准确率提高约三个百分点，同时将修正追溯至训练邻域，并且针对性的原型抑制可以在不进行微调的情况下移除不良行为（第5节 (https://arxiv.org/html/2607.00510#S5)）。 ## 2 PRISM：用于可解释序列建模的原型 我们现在描述我们的架构，它实现了归因应该由预测路径来暴露的想法。PRISM保留了标准的变压器解码器骨干，但用稀疏的原型重构替换了最终的密集输出路径。每个下一个词元预测会激活一小部分学习到的原型向量，并且每个激活的原型对logits做出加性贡献。这种设计重振了原型网络背后基于案例推理的直觉（Li et al.,2018 (https://arxiv.org/html/2607.00510#bib.bib57); Chen et al.,2019 (https://arxiv.org/html/2607.00510#bib.bib15)），但首次将其改编为自回归语言建模。在图像分类中，原型可以被视为类别判别性的范例。在语言建模中，每个位置需要一个覆盖大型词汇表的完整下一个词元分布，因此模型必须暴露原型贡献，而无需引入一个过于庞大的原型到词汇表的分类器。W