论文页面 - ELDR：面向预填-解码分离式MoE服务的专家局部性感知路由

来源: https://huggingface.co/papers/2607.00466

摘要

ELDR 是一个面向预填-解码分离式混合专家（MoE）服务的专家局部性感知解码路由方案，通过预测专家激活模式并据此进行路由分配来提升性能。

在预填-解码（https://huggingface.co/papers?q=prefill-decode）分离式大语言模型服务（https://huggingface.co/papers?q=disaggregated%20LLM%20serving）中，每个请求在完成预填后被分配给一个解码工作节点。现有的解码路由（https://huggingface.co/papers?q=decode%20router）方案仅平衡负载；对于混合专家（https://huggingface.co/papers?q=mixture-of-experts）（MoE）模型而言，这种做法并不完善：负载相等的工作节点可能产生不同的延迟，因为每个解码步骤都需要加载其批次中激活的每个不同专家的权重。我们提出了 ELDR，一种面向预填-解码分离式 MoE 服务的专家局部性感知解码路由方案。从请求的预填专家激活信息中，ELDR 构建一个专家签名，用以预测该请求在生成阶段将激活的专家。在离线阶段，平衡K均值（https://huggingface.co/papers?q=K-means）将签名空间划分为多个解码工作节点；在线阶段，局部性带路由（https://huggingface.co/papers?q=locality-band%20routing）将每个请求发送到与其签名最匹配且负载最低的工作节点。一个签名缓存（https://huggingface.co/papers?q=signature%20cache），与KV缓存（https://huggingface.co/papers?q=KV%20cache）以KV块粒度联合索引，使得签名在缓存前缀时保持精确。在 vLLM（https://huggingface.co/papers?q=vLLM）中实现，并在多达40个GPU的部署上进行评估，ELDR 将中位数TPOT（https://huggingface.co/papers?q=TPOT）降低了5.9%-13.9%，超过四种负载均衡基线中最优的方案，覆盖三个 MoE 模型和两个工作负载，且模型输出保持不变。

查看 arXiv 页面 (https://arxiv.org/abs/2607.00466)查看 PDF (https://arxiv.org/pdf/2607.00466)添加至收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.00466)

在您的智能体中获取此论文：

hf papers read 2607.00466

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有关联此论文的模型

请在模型 README.md 中引用 arxiv.org/abs/2607.00466 以从本页面链接该模型。

引用此论文的数据集0

没有关联此论文的数据集

请在数据集 README.md 中引用 arxiv.org/abs/2607.00466 以从本页面链接该数据集。

引用此论文的 Spaces0

没有关联此论文的 Space

请在 Space README.md 中引用 arxiv.org/abs/2607.00466 以从本页面链接该 Space。

包含此论文的收藏集0

没有包含此论文的收藏集

请将此论文添加至一个收藏集 (https://huggingface.co/new-collection) 以从本页面链接该收藏集。