decode-routing

ELDR是一种专家局部性感知的解码路由器，用于预填充-解码分离的混合专家（MoE）服务。它通过预填充签名预测专家激活，并路由请求以最小化延迟。该路由器已在vLLM中实现，在多达40个GPU上实现了中位数TPOT降低5.9%至13.9%。