token-indexing

标签

Cards List
#token-indexing

全注意力回归:在百步训练内将全注意力转化为稀疏注意力

arXiv cs.CL · 2026-05-19 缓存

RTPurbo 仅需数百步训练即可将全注意力大语言模型转化为稀疏模型,实现接近无损的准确率,并在预填充阶段最高提速 9.36 倍,解码阶段最高提速 2.01 倍。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈