@vllm_project: 迎接 vLLM-Omni v0.22.0,全能模态世界模型与生产级多模态服务的重大升级。首发支持 @NVID…
摘要
vLLM-Omni v0.22.0 是一项重大升级,新增了对 NVIDIA Cosmos 世界模型、生产级 TTS(Qwen3-TTS、Qwen3-Omni、VoxCPM2)的稳健支持,更快的扩散模型服务(Wan 2.2、HunyuanVideo 1.5、LTX-2.3),以及更广泛的量化和硬件覆盖,共包含来自 124 位贡献者的 339 个提交。
查看缓存全文
缓存时间: 2026/06/08 17:30
为所有人提供简单、快速且便宜的通用多模态模型服务
| 文档 | DeepWiki | 用户论坛 | 开发者 Slack | 微信 | 论文 | 幻灯片 |
相似文章
@vllm_project: @Alibaba_Qwen 的 Qwen3-Omni 能听、能推理、能回复。实时服务它是个管道问题,不是单一模型的问题……
vLLM-Omni 引入分阶段流水线来实时服务阿里巴巴的 Qwen3-Omni,分别优化 Thinker、Talker 和 Code2Wav 三个阶段,在相同 GPU 上实现亚秒级首音频延迟和 5.4 倍吞吐量。
Lemonade v10.7 发布及项目组织更新
Lemonade v10.7 版本引入了 LMX-Omni 虚拟模型,支持全模态聊天;新增 bench CLI 工具,用于跨后端比较 LLM 性能;并扩展了在 AMD、Apple Silicon、Nvidia 和 Intel 系统上的 GPU 支持。
@vllm_project: vLLM v0.21.0 发布!367 次提交,来自 202 位贡献者(其中 49 位新贡献者)。亮点:KV 卸载 + HMA、带思考预算的推测解码(适用于推理模型)……
vLLM v0.21.0 已发布,新增 KV 卸载 + HMA、面向推理模型的带思考预算的推测解码、适用于 DSR1/Kimi K2.5 的 Blackwell 上的 TOKENSPEED_MLA、Mooncake 分布式 KV、DeepSeek V4 流水线并行,以及 C++20 + Transformers v5 基线。
@Prince_Canuma: mlx-audio v0.4.3 正式发布!模型、服务器和开发体验全面升级 → 6 个全新 TTS 模型:Higgs Audio v2(声音克隆)…
mlx-audio v0.4.3 发布,新增 6 个 TTS 模型,包括 Higgs Audio v2 和支持 646+ 种语言的 OmniVoice,同时带来并发请求与持续批处理等服务器改进,Voxtral Realtime 4-bit 模式速度提升约 3 倍,并精简了 Apple Silicon 上的依赖项。
@lmsysorg: SGLang-Omni 现已于第0天提供来自 @Open_MOSS 的 MOSS-TTS-Local Transformer v1.5!这是一个开源的 48 kHz 立体声 TTS 模式…
MOSS-TTS-Local Transformer v1.5 是一个开源的 48 kHz 立体声 TTS 模型,具有零样本语音克隆、原生流式传输,并支持31种语言,基于 Qwen3-4B 骨干网构建,通过 SGLang-Omni 提供。