disaggregation

标签

Cards List
#disaggregation

@robertnishihara: 一个关于RL中解耦重要性的绝佳案例。来自论文:LLM生成在预填充和解码之间交替…

X AI KOLs Following · 2026-06-20 缓存

Robert Nishihara 强调了一篇关于解耦RL工作负载的论文,表明使用计算优化的H800进行预填充,带宽优化的H20进行解码,可以分别将rollout时间减少21-51%和47%,强调没有单一硬件类型适合所有阶段。

0 人收藏 0 人点赞
#disaggregation

@raydistributed: RollArt 是大规模强化学习中去中心化的一个令人印象深刻的示例。https://cse.ust.hk/~weiwa/papers/rollart-osdi26.p…

X AI KOLs Following · 2026-06-20 缓存

RollArt 提出了一种用于大规模强化学习的解耦架构,展示了在效率和可扩展性方面的显著提升。

0 人收藏 0 人点赞
#disaggregation

@CyrusHakha:我们在大规模服务LLM的客户中反复看到一种模式:预填充-解码分离常被当作一根魔杖……

X AI KOLs Following · 2026-06-15 缓存

基于客户模式,讨论大规模LLM服务中预填充-解码分离的微妙现实,并在AMD + vLLM上进行了验证。

0 人收藏 0 人点赞
#disaggregation

@charles_irl: 祝贺我的同事 @nanjiangwill 将这个重要技术合并到 slime 中!

X AI KOLs Following · 2026-05-30 缓存

增量压缩权重同步技术已合并到 slime 中,实现 Megatron ↔ SGLang 分离式部署的无损增量同步,增强大规模强化学习。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈