context-sparsity

#context-sparsity

推理时上下文稀疏性：幻象还是机遇？

arXiv cs.AI ↗ · 2026-05-26 缓存

本文认为，极端的上下文稀疏性是LLM推理的一个有原则且可行的基础，展示了当前模型能够容忍高达100倍的稀疏性而无质量损失，并且稀疏解码内核可以在现有硬件上将处理速度提升10倍。

0 人收藏 0 人点赞