nll-guidance

标签

Cards List
#nll-guidance

无需训练的滑动窗口适配中NLL引导的全注意力层选择

arXiv cs.CL · 2026-06-29 缓存

提出了一种无需训练的NLL引导方法,用于在混合注意力模型中选择保留全注意力的层,在长上下文任务中,使用1/4全注意力层即可达到与1/2周期性基线相当的准确率。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈