speed-method

标签

Cards List
#speed-method

浅层预填,深层解码:通过层非对称 KV 可见性实现高效的长上下文推理

Hugging Face Daily Papers · 2026-05-07 缓存

本文介绍了 SPEED,一种层非对称 KV 可见性策略,通过仅在预填阶段的下层处理提示 token,同时在解码阶段保持全深度注意力,从而降低长上下文推理的成本。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈