vLLM 的 nightly 版本现已支持 PLE 磁盘卸载

Reddit r/LocalLLaMA 工具
llm-serving inference disk-offload vllm gpu-memory open-source

摘要

vLLM 的每日构建版本现已支持 PLE 磁盘卸载，可在 LLM 推理服务中将 KV 缓存卸载至磁盘，缓解内存压力。该更新已在 vLLM 的每日构建渠道上线。

暂无内容
查看原文
查看缓存全文

缓存时间: 2026/10/30 21:24

让每个人都能轻松、快速、低成本地部署大语言模型服务

| 文档 | 博客 | 论文 | Twitter/X | 用户论坛 | 开发者 Slack |

相似文章

vLLM v0.28.0

Hacker News Top

vLLM v0.28.0 是用于快速高效 LLM 推理和服务的开源库的更新版本，具有 PagedAttention 等增强功能和广泛的硬件支持。

vllm-project/vllm

GitHub Trending (daily)

vLLM 是一个快速的开源大语言模型推理与服务库，具备 PagedAttention、连续批处理、广泛的量化与硬件支持，并兼容 200 多种 Hugging Face 模型架构。