hybrid-sequence-models

本文研究了蒸馏混合序列模型中对数似然与基于生成的评估之间的差异，表明仅凭困惑度可能具有误导性。本文介绍了GenDistill，一个将Transformer蒸馏为Hybrid-KDA模型的流水线，实现了高达75%的KV缓存减少和2-4倍的首次令牌生成时间加速，同时保留了教师模型86-90%的准确率。