vllm-project/vllm v0.20.2rc0: [MRV2] 添加 shutdown() 方法 (#41297)
摘要
vLLM v0.20.2rc0 候选版本为 LLM 服务库添加了 shutdown() 方法。
Signed-off-by: Woosuk Kwon [email protected]
查看缓存全文
缓存时间: 2026/05/08 08:23
人人皆可使用的高性能、快速且低成本的LLM服务
| 文档 | 博客 | 论文 | Twitter/X | 用户论坛 | 开发者Slack |
相似文章
vllm-project/vllm v0.20.1
vLLM v0.20.1 是一个小版本更新，针对这款流行的开源大语言模型推理和服务库，继续保持其高吞吐量和高效内存管理的核心优势。
vllm-project/vllm v0.21.0rc1
vLLM v0.21.0rc1 是高性能大语言模型推理和服务库的预发布更新，主要功能包括针对吞吐量、量化以及硬件支持的优化。
vllm-project/vllm v0.20.0rc1
vLLM 0.20.0rc1 发布，带来吞吐量、量化、投机解码及多硬件支持的重大改进，助力可扩展的大模型推理服务。
vllm-project/vllm v0.21.1rc0: [ROCm][CI] Stage B 门控 (#42025)
vLLM 发布版本 0.21.1rc0，重点关注 ROCm CI 门控改进。
vllm-project/vllm v0.20.0
vLLM v0.20.0 已发布，这是一个用于高吞吐量 LLM 推理和服务的开源库，特色功能包括 PagedAttention 以及对多种硬件架构的支持。