recurrent-inference

#recurrent-inference

注意力路由早期稳定：循环语言模型的工作集推理

arXiv cs.CL ↗ · 2026-09-24 缓存

本文分析了循环语言模型中注意力路由的演变，并提出了WISE，一种无需训练的推理方法，该方法重用已稳定的稀疏注意力支持，以实现高达1.76倍的注意力加速，同时在多跳问答基准测试上保持性能。

0 人收藏 0 人点赞