disk-offload

标签

#disk-offload

vLLM 的 nightly 版本现已支持 PLE 磁盘卸载

Reddit r/LocalLLaMA ↗ · 2026-10-30 缓存

vLLM 的每日构建版本现已支持 PLE 磁盘卸载，可在 LLM 推理服务中将 KV 缓存卸载至磁盘，缓解内存压力。该更新已在 vLLM 的每日构建渠道上线。

0 人收藏 0 人点赞

← 返回首页

提交意见反馈