@PyTorch: vLLM (@vllm_project) 是一款高吞吐量、内存高效的大语言模型推理与服务引擎。在 #PyTorchCon 北美…
摘要
本文介绍了vLLM,一款用于大语言模型的高吞吐量推理引擎,并详细说明了其在PyTorchCon北美会议上的会议和活动。
查看缓存全文
缓存时间: 2026/09/29 21:59
vLLM (@vllm_project) 是一款面向大语言模型的高吞吐量、内存高效的推理与服务引擎。在#PyTorchCon北美峰会上,从Simon Mo的主题演讲到涵盖LLM推理与服务的技术会议和海报展示,您将看到贯穿整个议程的vLLM相关工作。
@simon_mo_ 将发表主题演讲“vLLM更新:扩展开放的前沿推理基础设施”,内容涵盖vLLM核心架构的改进,以及在KV缓存管理和GPU内核方面的重大优化。
在整个#PyTorchCon会议期间,技术会议深入探讨vLLM相关的推理技术,包括注意力机制、KV缓存管理与传输、解耦服务、弹性专家并行、跨硬件无分叉扩展等。
“与vLLM开发者面对面”环节将由George Novack和Nick Hill主持。海报展示将涵盖更多vLLM相关工作,主题涉及定制加速器、Trainium、专家并行与RDMA KV缓存传输、多芯片KV缓存传输、层级感知路由等。
探索vLLM相关会议环节:https://events.linuxfoundation.org/pytorch-conference-north-america/program/schedule/?search=vllm…
PyTorch大会是开源AI社区的中心广场,在这里,未来的发展方向得以确定。注册参加10月20日至21日在圣何塞举行的PyTorch北美会议:https://hubs.la/Q04vK-VQ0
会议日程 | PyTorch北美会议
来源:https://events.linuxfoundation.org/pytorch-conference-north-america/program/schedule/?search=vllm 上午 7:30
上午 9:00
上午 10:00
上午 7:30
上午 9:00
上午 9:10
上午 9:20
上午 9:35
上午 9:45
上午 9:50
上午 10:00
上午 10:05
上午 10:15
上午 10:25
上午 10:35
上午 10:40
上午 11:10
上午 11:45
中午 12:00
中午 12:20
中午 12:35
中午 12:45
下午 1:30
下午 1:45
下午 2:15
下午 2:30
下午 2:50
下午 3:05
下午 3:25
下午 3:40
下午 3:50
下午 3:55
下午 4:10
下午 4:20
下午 4:35
下午 4:55
下午 5:10
下午 5:30
下午 5:45
下午 6:00
上午 8:00
上午 9:00
上午 9:10
上午 9:20
上午 9:30
上午 9:40
上午 9:55
上午 10:00
上午 10:05
上午 10:15
上午 10:25
上午 10:35
上午 10:40
上午 10:55
上午 11:10
上午 11:45
中午 12:00
中午 12:20
中午 12:35
中午 12:45
下午 1:00
下午 1:30
下午 1:50
下午 2:15
下午 2:30
下午 2:50
下午 3:05
下午 3:25
下午 3:50
与开发者面对面 Helion社区博览会(大堂层)Jason ANSEL, Jongsok CHOI, Yarong Mu, Freya Azad, Theotime Combes, Ethan Che, Dunfan Lu, Shangdi Yu, Oguz Ulgen, Emilio Cota, Karthick Panner Selvam (https://events.linuxfoundation.org/pytorch-conference-north-america/program/schedule/?id=1340815)
下午 3:55
下午 4:20
下午 4:55
下午 5:10
下午 5:30
下午 6:00
相似文章
@PyTorch:来自 @inferact 的 Simon Mo (@simon_mo_) 在 #PyTorchCon 2026 上介绍 @vllm_project 的最新进展,重点阐述各项优化…
来自 Inferact 的 Simon Mo 在 PyTorchCon 2026 上介绍了 vLLM 项目的最新进展,重点展示了跨 TPU、AMD 和 NVIDIA 硬件的 KV cache 管理和内核优化,以应对 LLM 在性能和可扩展性方面面临的挑战。
深入vLLM:高吞吐量LLM推理系统剖析(2025)
深入探讨vLLM用于高吞吐量LLM推理的架构与组件,涵盖调度、分页注意力、连续批处理、高级特性、扩展、服务及基准测试。
@PyTorch:在PyTorch Conference North America上,vLLM Omni团队技术负责人Ricardo Noriega de Soto和Alexander Brooks,Pr…
在PyTorch Conference North America上,Ricardo Noriega de Soto和Alexander Brooks将演示如何将vLLM的前缀缓存机制扩展到多阶段流水线,以提升推理速度并减少GPU内存开销,为优化复杂AI工作负载提供实用策略。
@PyTorch: 想知道如何使用@PyTorch和@vllm_project使企业智能体推理达到生产就绪状态,并深入了解…
本文推广了在PyTorch Conference North America上的一场演讲,专注于使用PyTorch和vLLM使企业智能体推理达到生产就绪状态,涵盖生态系统更新和注册详情。
vllm-project/vllm
vLLM 是一个快速的开源大语言模型推理与服务库,具备 PagedAttention、连续批处理、广泛的量化与硬件支持,并兼容 200 多种 Hugging Face 模型架构。