论文页面 - DLite：面向智能体 AI 的无历史上下文投机解码

来源: https://huggingface.co/papers/2610.23787

摘要

DLite 通过消除历史上下文维护并利用目标模型的隐状态进行局部预测，提升了智能体 AI 场景下的投机解码性能，提高了接受长度并降低了系统开销。

投机解码 (https://huggingface.co/papers?q=Speculative%20decoding) 已成为加速大语言模型 (LLM) 推理的主流技术，其通过使用轻量级草稿模型 (https://huggingface.co/papers?q=draft%20model) 生成候选 token，再由目标模型进行验证。然而，智能体工作负载 (https://huggingface.co/papers?q=agentic%20workloads) 具有长且不断演化的上下文以及频繁的多轮交互特征。在这类工作负载下，我们观察到现有的草稿模型 (https://huggingface.co/papers?q=draft%20model) 的接受长度 (https://huggingface.co/papers?q=acceptance%20length) 高度下降最多达 80%，而维护其历史 KV 缓存 (https://huggingface.co/papers?q=KV%20cache) 则引入了巨大的系统开销。在本文中，我们将不断增长的历史上下文确定为这两个问题的共同根源，并提出 DLite——一种面向智能体 AI 的无历史上下文 (https://huggingface.co/papers?q=speculative%20decoding) 投机解码 (https://huggingface.co/papers?q=speculative%20decoding) 框架。DLite 直接复用目标模型的上下文隐状态 (https://huggingface.co/papers?q=contextual%20hidden%20states)，在不显式维护历史上下文的情况下进行局部投机预测，将日益复杂的建模问题转化为局部的简单预测问题。一个轻量级序列头 (https://huggingface.co/papers?q=sequential%20head) 以较低开销进一步恢复块内因果依赖关系。为了有效训练这一异构的无历史上下文架构，我们提出了一种定制的两阶段训练 (https://huggingface.co/papers?q=two-stage%20training) 策略。在通用、长上下文和智能体工作负载 (https://huggingface.co/papers?q=agentic%20workloads) 上的实验表明，DLite 实现了 2-6 的接受长度 (https://huggingface.co/papers?q=acceptance%20length)，并且相比最先进的投机解码 (https://huggingface.co/papers?q=speculative%20decoding) 方法 DSpark，性能提升最高达 70%。

查看 arXiv 页面 | 查看 PDF | GitHub13 | 添加到合集

在您的 agent 中获取此论文：

hf papers read 2610.23787

没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型：0

暂无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2610.23787 即可从此页面链接。

引用此论文的数据集：0

暂无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.23787 即可从此页面链接。

引用此论文的 Space：0

暂无 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2610.23787 即可从此页面链接。

包含此论文的合集：0

暂无合集包含此论文

将此论文添加到合集即可从此页面链接。