@vllm_project:我们刚刚上线了 http://recipes.vllm.ai 的重大改版。“如何在硬件 Y 上为任务 Z 运行模型 X?”现在有了……
摘要
vLLM 推出全新设计的 recipes 站点,可把任意 HuggingFace 模型地址一键变成适配指定硬件与任务的即用推理配方。
我们刚刚上线了 http://recipes.vllm.ai 的重大改版。“如何在硬件 Y 上为任务 Z 运行模型 X?”现在有了可点击的答案。更新亮点:- URL 与 HuggingFace 镜像:只需把任意模型链接中的 http://huggingface.co 替换成 http://recipes.vllm.ai,即可直达
相似文章
vllm-project/vllm
vLLM 是一个快速的开源大语言模型推理与服务库,具备 PagedAttention、连续批处理、广泛的量化与硬件支持,并兼容 200 多种 Hugging Face 模型架构。
这里为您提供最流行硬件的模型配方
一份精选的LLM推理配方和性能基准测试集合,涵盖NVIDIA RTX Pro 6000 Blackwell、H100、AMD Strix Halo和RTX 5090等热门硬件配置,并包含详细的批量大小、量化方法及吞吐量数据。
@hasantoxr:微调你自己的 LLM 现在变得超级简单。每个人都跟我说他们很想训练一个定制模型,但太难了……
Soup 是一款新的 CLI 工具,将 LLM 微调简化到一条命令,提供聊天、代码、工具调用等模板,并支持分层流式加载,可在中等 GPU 上运行。
用一条命令在 HF Jobs 上运行 vLLM 服务器
Hugging Face Jobs 现在允许你使用 vLLM 通过一条命令快速启动一个私有的、兼容 OpenAI 的 LLM 端点,无需配置服务器或 Kubernetes。
@PyTorch: 如何保持 @vllm_project 以光速运行,同时不排斥在多样化硬件上运行多样化模型的用户?
介绍了 vLLM 中的硬件无关层,以在确保跨多样化硬件可移植性的同时保持高性能,正如 PyTorch Foundation 博客文章中所宣布的。