disaggregation

标签

Cards List
#disaggregation

@CyrusHakha:我们在大规模服务LLM的客户中反复看到一种模式:预填充-解码分离常被当作一根魔杖……

X AI KOLs Following · 4天前 缓存

基于客户模式,讨论大规模LLM服务中预填充-解码分离的微妙现实,并在AMD + vLLM上进行了验证。

0 人收藏 0 人点赞
#disaggregation

@charles_irl: 祝贺我的同事 @nanjiangwill 将这个重要技术合并到 slime 中!

X AI KOLs Following · 2026-05-30 缓存

增量压缩权重同步技术已合并到 slime 中,实现 Megatron ↔ SGLang 分离式部署的无损增量同步,增强大规模强化学习。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈