论文页面 - Flash-dLLM：面向快速内存高效扩散大语言模型的IO感知KV缓存与并行解码

来源：https://huggingface.co/papers/2609.26796

摘要

扩散大语言模型（dLLMs）作为一种有前景的自回归LLM替代方案近期崭露头角，实现了非自回归文本生成。然而，其实际部署仍受推理效率低下的制约，这主要源于缺乏有效的键值（KV）缓存与可扩展的并行解码机制。现有加速方法通常孤立地研究KV缓存与并行解码，忽略了缓存复用与并行令牌验证共同应用时出现的I/O瓶颈。本文提出Flash-dLLM，一个无需训练的推理加速框架，用于实现快速且内存高效的dLLM推理。Flash-dLLM首先识别出GPU内存I/O是KV缓存使能的dLLM推理中的主要瓶颈，并通过一个I/O感知的融合KV缓存内核来减少冗余内存搬运以解决该问题。基于此优化缓存机制，Flash-dLLM进一步提出一种高效的KV缓存驱动草稿-验证解码策略，其中dLLM自身同时充当草稿生成器与验证器，无需辅助模型。这种统一设计在保持生成质量的同时实现了更快解码，并提升了对更长序列和更大批次的可扩展性。在数学推理与代码生成基准测试上的大量实验表明，Flash-dLLM在推理速度和内存效率方面均持续优于现有的最先进dLLM加速方法。特别是在GSM8K和HumanEval上，它分别实现了比先前最强基线Elastic-Cache快5.1倍和11.0倍的加速。

查看arXiv页面 (https://arxiv.org/abs/2609.26796) 查看PDF (https://arxiv.org/pdf/2609.26796) GitHub2 (https://github.com/VILA-Lab/Flash-dLLM) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.26796)

在您的代理中获取此论文：

hf papers read 2609.26796

没有最新CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接此论文

在模型README.md中引用 arxiv.org/abs/2609.26796 以从本页面链接。

引用此论文的数据集0

没有数据集链接此论文

在数据集README.md中引用 arxiv.org/abs/2609.26796 以从本页面链接。

引用此论文的Spaces0

没有Space链接此论文

在Space README.md中引用 arxiv.org/abs/2609.26796 以从本页面链接。

包含此论文的收藏夹0

没有包含此论文的收藏夹

将此论文添加到收藏夹 (https://huggingface.co/new-collection) 以从本页面链接。