p-d-separation

标签

#p-d-separation

@SuJinYan123: https://github.com/openinfer-project/openinfer/pull/522… openinfer p/d 分离支持，based on store（pegaflow p2p) based p/d pull…

X AI KOLs Timeline ↗ · 2026-07-03 缓存

OpenInfer 0.2.0 发布，支持推测解码、p/d分离和GLM5.2 FP8推理；该项目是一个纯 Rust + CUDA 的 LLM 推理引擎，无需 PyTorch 等框架依赖。

0 人收藏 0 人点赞

← 返回首页

提交意见反馈