public-wan

标签

#public-wan

在两个独立云区域通过公共WAN使用推测解码+CUDA图实现Qwen2.5-7B上28 TPS [P]

Reddit r/MachineLearning ↗ · 2026-08-23

分布式LLM推理框架ShardFlow通过推测解码与CUDA图缓解WAN延迟，在云区域间对Qwen2.5-7B实现28 TPS。

0 人收藏 0 人点赞

← 返回首页

提交意见反馈