Intel LLM-Scaler-vLLM PV 1.5 带来重大改进

Reddit r/LocalLLaMA 产品
intel vllm llm-serving gpu quantization open-source

摘要

英特尔发布了 LLM-Scaler-vLLM PV 1.5，这是其面向 Arc 显卡硬件的容器化 vLLM 技术栈的一次重大更新，将 vLLM 从 0.14 版升级至 0.26 版，新增了对 Qwen 和 Gemma 模型的支持、FP8/INT4 量化功能，并提升了性能。

暂无内容
查看原文
查看缓存全文

缓存时间: 2026/10/16 21:52

Intel LLM-Scaler-vLLM PV 1.5 带来重大改进

来源：https://www.phoronix.com/news/Intel-LLM-Scaler-vLLM-PV-1.5 英特尔

英特尔软件工程师今天发布了最新版本的 LLM-Scaler-vLLM PV 1.5。这套容器化 Docker 软件栈源自其 Project Battlematrix 计划，可在英特尔 Arc 显卡硬件上提供便捷的 AI/LLM 使用体验\。

此次更新是其用于 Arc 显卡的 vLLM 打包软件栈的一次重大升级，也为即将到来的 Crescent Island 英特尔 GPU D 系列 (https://www.phoronix.com/news/Intel-GPU-D-Series) 做好了准备\。在 v1.5 版本中，vLLM 从 0.14 一跃升级至 0.26\。这一版本跨度相当大，使其更接近上游的最新状态\。不过，它仍然落后于目前已达 0.31 的 vLLM\。

除了 vLLM 从 0.14 升级至 0.26 之外，这套 Docker 环境中的 PyTorch 也从 v2.10 升级到了 v2.12\。LLM 支持范围也有所扩大，现在可运行更多 Qwen 模型 (Qwen3.6-27B、Qwen3.8-27B 和 Qwen3.6-35B-A3B)，支持更多 Gemma 模型 (gemma-4-26B-A4B-it 和 gemma-4-31B-it)，并且新增了对在线 FP8 量化和对称 INT4 量化的支持\。现在也支持 FP8 KV 缓存\。

英特尔 Arc Pro B70

英特尔的这套软件栈还获得了多项性能改进，包括缩短 Qwen 和 Gemma 4 模型的首个 token 生成时间、提升 MTP 解码性能，以及改善 LoRA 推理服务和 FP8 KV 缓存的性能\。

此次英特尔软件新版本还包含多项错误修复，可通过 GitHub (https://github.com/intel/llm-scaler/releases/tag/vllm-1.5) 获取\。

相似文章

vLLM v0.28.0

Hacker News Top

vLLM v0.28.0 是用于快速高效 LLM 推理和服务的开源库的更新版本，具有 PagedAttention 等增强功能和广泛的硬件支持。

我终于感觉像毕业了。

Reddit r/LocalLLaMA

用户从LM Studio切换到vLLM以服务Qwen 3.8模型，实现了每秒143个令牌的速度，并降低了GPU温度，参考了一个有用的GitHub仓库。