标签
CRISP 引入了一种方法，通过使用结构化路由解决噪声累积问题，改进长上下文LLM推理中的稀疏预填充，在检索任务上实现了加速和性能提升。
本文提出Prefilling-dLLM，一种无需训练的框架，它将前缀分割成块并缓存KV表示，在扩散语言模型的长上下文推理中实现了最先进的质量和高达28倍的加速。