batched

#batched

ASPIRE：面向长上下文大语言模型推理的异步批处理自推测解码技术

arXiv cs.LG ↗ · 2026-09-17 缓存

ASPIRE是一种异步分块自推测解码框架，通过支持独立请求调度并减少注意力机制的陈旧性，显著提升了长上下文大语言模型的推理性能，实现了1.70至4.58倍的基准加速效果。

0 人收藏 0 人点赞