vertical-disaggregation

标签

Cards List
#vertical-disaggregation

@bastani_behnam:我们刚刚发布了如何在 27B 模型上解锁 +50% 推理容量——无需新 GPU、无需新节点,成本仅为一小部分……

X AI KOLs Following · 2026-04-21 缓存

OpenInfer 展示“垂直拆解”,通过单节点 AMD EPYC CPU 与 Nvidia L40S GPU 协同执行量化层,并配合自定义 SLA 感知调度器,将 Qwen 3.5 27B 的吞吐量提升约 50%。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈