@vllm_project:我们刚刚上线了 http://recipes.vllm.ai 的重大改版。“如何在硬件 Y 上为任务 Z 运行模型 X?”现在有了……

X AI KOLs Following 工具

摘要

vLLM 推出全新设计的 recipes 站点,可把任意 HuggingFace 模型地址一键变成适配指定硬件与任务的即用推理配方。

我们刚刚上线了 http://recipes.vllm.ai 的重大改版。“如何在硬件 Y 上为任务 Z 运行模型 X?”现在有了可点击的答案。更新亮点:- URL 与 HuggingFace 镜像:只需把任意模型链接中的 http://huggingface.co 替换成 http://recipes.vllm.ai,即可直达
查看原文

相似文章

vllm-project/vllm

GitHub Trending (daily)

vLLM 是一个快速的开源大语言模型推理与服务库,具备 PagedAttention、连续批处理、广泛的量化与硬件支持,并兼容 200 多种 Hugging Face 模型架构。

这里为您提供最流行硬件的模型配方

Reddit r/LocalLLaMA

一份精选的LLM推理配方和性能基准测试集合,涵盖NVIDIA RTX Pro 6000 Blackwell、H100、AMD Strix Halo和RTX 5090等热门硬件配置,并包含详细的批量大小、量化方法及吞吐量数据。