论文页面 - Taylor-Calibrate: 混合线性注意力蒸馏的初始化原则方法

来源：https://huggingface.co/papers/2606.16429

摘要

混合线性注意力模型可以通过一种新颖的初始化技术得到改进，该技术利用教师注意力统计和对齐步骤，增强了从预训练Transformer的转换效果。

混合线性注意力模型（https://huggingface.co/papers?q=Hybrid%20linear%20attention%20models）提供了一条实现更快长上下文推理的诱人路径：它们既降低了完全softmax注意力（https://huggingface.co/papers?q=full%20softmax%20attention）的二次成本和KV缓存负担，又能保留Transformer模型的大部分质量。获得此类模型的一种实用方法是转换预训练Transformer，而不是从头开始预训练新架构，但这种转换仍不稳定。仅仅将教师注意力投影（https://huggingface.co/papers?q=attention%20projections）复制到Gated DeltaNet（https://huggingface.co/papers?q=Gated%20DeltaNet）（GDN）学生模型中，并不能指定新的循环衰减、写入和输出门控动态。因此，转换后的模型往往处于不良的动态区域，需要花费大量蒸馏令牌（https://huggingface.co/papers?q=distillation%20tokens）来修复初始化，而非学习剩余的教师行为。我们提出Taylor-Calibrate，一种针对混合GDN学生模型的轻量级初始化方法。该方法利用泰勒引导的教师注意力统计来设置值投影、记忆时间尺度（https://huggingface.co/papers?q=memory%20timescale）、写入门（https://huggingface.co/papers?q=write%20gates）和输出门（https://huggingface.co/papers?q=output%20gate），然后应用一个短的逐层对齐步骤，使每个转换后的层与教师输出匹配。在四种教师设置和三种保留层策略下，Taylor-Calibrate产生了显著更强的零样本学生模型，在代表性消融实验中实现了高达88倍的改进，并且达到匹配恢复目标所需的训练令牌数比朴素转换减少了4.9倍至9.2倍。

查看arXiv页面（https://arxiv.org/abs/2606.16429）查看PDF（https://arxiv.org/pdf/2606.16429）GitHub1（https://github.com/FutureMLS-Lab/Taylor-Calibrate）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.16429）

在你的代理中获取这篇论文：

hf papers read 2606\.16429

没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有与此论文关联的模型

在模型 README.md 中引用 arxiv.org/abs/2606.16429 以从本页面链接到它。

引用此论文的数据集0

没有与此论文关联的数据集

在数据集 README.md 中引用 arxiv.org/abs/2606.16429 以从本页面链接到它。

引用此论文的 Spaces0

没有与此论文关联的 Space

在 Space README.md 中引用 arxiv.org/abs/2606.16429 以从本页面链接到它。

包含此论文的收藏集0

没有包含此论文的收藏集

将这篇论文添加到一个收藏集（https://huggingface.co/new-collection）以从本页面链接到它。