vLLM 支持百度昆仑

Lobsters Hottest 工具
vllm kunlun-xpu hardware-plugin inference baidu open-source

摘要

vLLM Kunlun 是一个由社区维护的硬件插件，使 vLLM 能够在百度昆仑 XPU 上运行，支持 20+ 种 LLM、量化、LoRA 和推测解码。

<p><a href="https://lobste.rs/s/sbu76n/vllm_for_baidu_kunlun">评论</a></p>
查看原文
查看缓存全文

缓存时间: 2026/07/31 08:45

📖 文档 | 🚀 快速开始 | 📦 安装 | 💬 Slack

相似文章

vllm-project/vllm

GitHub Trending (daily)

vLLM 是一个快速的开源大语言模型推理与服务库，具备 PagedAttention、连续批处理、广泛的量化与硬件支持，并兼容 200 多种 Hugging Face 模型架构。

llm-d（网站）

TLDR AI

llm-d 是一个开源、Kubernetes 原生的分布式 LLM 推理栈，支持 vLLM、SGLang 等引擎，可在 GPU、TPU、XPU 等异构硬件上提供生产级服务，并宣称大幅提升吞吐量与降低 TTFT。

vLLM v0.28.0

Hacker News Top

vLLM v0.28.0 是用于快速高效 LLM 推理和服务的开源库的更新版本，具有 PagedAttention 等增强功能和广泛的硬件支持。

大语言模型与本地AI硬件的推理引擎（2026版）

X AI KOLs

本文提供了一份全面的指南，针对2026年本地AI硬件上的大语言模型推理引擎，解释了如何根据硬件策略、工作负载和服务模型进行选择，并涵盖了诸如llama.cpp、MLX、ExLlamaV2/3、vLLM、SGLang、TensorRT-LLM和NVIDIA Dynamo等引擎。