llm-d（网站）

TLDR AI 工具
kubernetes llm-inference open-source vllm distributed-systems serving

摘要

llm-d 是一个开源、Kubernetes 原生的分布式 LLM 推理栈，支持 vLLM、SGLang 等引擎，可在 GPU、TPU、XPU 等异构硬件上提供生产级服务，并宣称大幅提升吞吐量与降低 TTFT。

llm-d 是一个面向分布式 LLM 推理的 Kubernetes 原生栈。它可在集群中运行 vLLM、SGLang 等引擎，将单节点推理引擎转变为可在本地硬件上运行的生产级服务。llm-d 提供了针对常见生产模式的经过验证的部署方案，可作为适配不同模型、硬件和工作负载的起点。它能在 GPU、TPU、XPU、CPU 以及新兴的 NPU 上运行生产级 LLM 推理，并保持一致的性能模式，使团队可以一次部署、随处扩展，同时拥有可预测的成本和行为。
查看原文
查看缓存全文

缓存时间: 2026/10/21 18:20

# llm-d 来源：https://llm-d.ai/ 从经过充分验证的路径开始构建。 llm-d 提供 Well-Lit Paths（充分验证的路径）——针对常见生产场景的经过测试的部署方案。它们是适用于不同模型、硬件和工作负载的灵活起点。 在任何加速器上获得最先进的 LLM 推理体验的最快路径。 llm-d 是一个开源的、Kubernetes 原生的分布式 LLM 推理技术栈。它可以在你的集群中运行 vLLM、SGLang 等框架，将单节点引擎转化为生产级服务能力，充分利用你已有的硬件。 - 输出吞吐量提升 **3 倍** - TTFT（首 token 响应时间）加速 **2 倍** - tokens/sec 提升高达 **70%** - 吞吐量提升 **30%** - 在 Google Vertex 中 TTFT 和 ITL 降低 **40%** **跨异构硬件的可移植性** llm-d 可在 GPU、TPU、XPU、CPU 以及新兴 NPU 上运行生产级 LLM 推理，保持一致的性能模式，让团队可以一次部署、随处扩展，并获得可预测的成本和行为。 **加入社区** 从初次使用者到正在调试复杂部署的团队，社区对所有人开放。

相似文章

大语言模型与本地AI硬件的推理引擎（2026版）

X AI KOLs

本文提供了一份全面的指南，针对2026年本地AI硬件上的大语言模型推理引擎，解释了如何根据硬件策略、工作负载和服务模型进行选择，并涵盖了诸如llama.cpp、MLX、ExLlamaV2/3、vLLM、SGLang、TensorRT-LLM和NVIDIA Dynamo等引擎。

vllm-project/vllm

GitHub Trending (daily)

vLLM 是一个快速的开源大语言模型推理与服务库，具备 PagedAttention、连续批处理、广泛的量化与硬件支持，并兼容 200 多种 Hugging Face 模型架构。

BerriAI/litellm

GitHub Trending (daily)

LiteLLM 是一个开源 AI 网关，提供统一接口以 OpenAI 格式调用 100 多个 LLM 提供商，可作为 Python SDK 或自托管代理服务器使用，面向企业级部署。