@PyTorch: vLLM (@vllm_project) 是一款高吞吐量、内存高效的大语言模型推理与服务引擎。在 #PyTorchCon 北美…

X AI KOLs Timeline 事件

摘要

本文介绍了vLLM,一款用于大语言模型的高吞吐量推理引擎,并详细说明了其在PyTorchCon北美会议上的会议和活动。

vLLM (@vllm_project) 是一款高吞吐量、内存高效的大语言模型推理与服务引擎。在 #PyTorchCon 北美会议上,你将在整个议程中发现与 vLLM 相关的工作,从 Simon Mo 的主题演讲到涵盖大语言模型推理与服务的技术会议和海报。 @simon_mo_ 将发表主题演讲“vLLM 更新:扩展开放前沿推理基础设施”,涵盖 vLLM 核心架构的改进以及 KV 缓存管理和 GPU 内核的重大优化。 在整个 #PyTorchCon 会议中,技术会议深入探讨与 vLLM 相关的推理,包括注意力机制、KV 缓存管理和传输、解耦服务、弹性专家并行、跨硬件扩展无需分叉等。 “与 vLLM 开发者见面”将由 George Novack 和 Nick Hill 主持。海报涵盖了关于自定义加速器、Trainium、专家并行和 RDMA KV 缓存传输、多芯片 KV 缓存传输、层级感知路由等额外 vLLM 相关工作。 探索 vLLM 会议:https://events.linuxfoundation.org/pytorch-conference-north-america/program/schedule/?search=vllm… PyTorch 会议是开源 AI 社区的广场,决定着未来的发展方向。注册参加 PyTorch 北美会议,10 月 20-21 日在圣何塞:https://hubs.la/Q04vK-VQ0
查看原文
查看缓存全文

缓存时间: 2026/09/29 21:59

vLLM (@vllm_project) 是一款面向大语言模型的高吞吐量、内存高效的推理与服务引擎。在#PyTorchCon北美峰会上,从Simon Mo的主题演讲到涵盖LLM推理与服务的技术会议和海报展示,您将看到贯穿整个议程的vLLM相关工作。

@simon_mo_ 将发表主题演讲“vLLM更新:扩展开放的前沿推理基础设施”,内容涵盖vLLM核心架构的改进,以及在KV缓存管理和GPU内核方面的重大优化。

在整个#PyTorchCon会议期间,技术会议深入探讨vLLM相关的推理技术,包括注意力机制、KV缓存管理与传输、解耦服务、弹性专家并行、跨硬件无分叉扩展等。

“与vLLM开发者面对面”环节将由George Novack和Nick Hill主持。海报展示将涵盖更多vLLM相关工作,主题涉及定制加速器、Trainium、专家并行与RDMA KV缓存传输、多芯片KV缓存传输、层级感知路由等。

探索vLLM相关会议环节:https://events.linuxfoundation.org/pytorch-conference-north-america/program/schedule/?search=vllm…

PyTorch大会是开源AI社区的中心广场,在这里,未来的发展方向得以确定。注册参加10月20日至21日在圣何塞举行的PyTorch北美会议:https://hubs.la/Q04vK-VQ0


会议日程 | PyTorch北美会议

来源:https://events.linuxfoundation.org/pytorch-conference-north-america/program/schedule/?search=vllm 上午 7:30

上午 9:00

上午 10:00

上午 7:30

上午 9:00

上午 9:10

上午 9:20

上午 9:35

上午 9:45

上午 9:50

上午 10:00

上午 10:05

上午 10:15

上午 10:25

上午 10:35

上午 10:40

上午 11:10

上午 11:45

中午 12:00

中午 12:20

中午 12:35

中午 12:45

下午 1:30

下午 1:45

下午 2:15

下午 2:30

下午 2:50

下午 3:05

下午 3:25

下午 3:40

下午 3:50

下午 3:55

下午 4:10

下午 4:20

下午 4:35

下午 4:55

下午 5:10

下午 5:30

下午 5:45

下午 6:00

上午 8:00

上午 9:00

上午 9:10

上午 9:20

上午 9:30

上午 9:40

上午 9:55

上午 10:00

上午 10:05

上午 10:15

上午 10:25

上午 10:35

上午 10:40

上午 10:55

上午 11:10

上午 11:45

中午 12:00

中午 12:20

中午 12:35

中午 12:45

下午 1:00

下午 1:30

下午 1:50

下午 2:15

下午 2:30

下午 2:50

下午 3:05

下午 3:25

下午 3:50

与开发者面对面 Helion社区博览会(大堂层)Jason ANSEL, Jongsok CHOI, Yarong Mu, Freya Azad, Theotime Combes, Ethan Che, Dunfan Lu, Shangdi Yu, Oguz Ulgen, Emilio Cota, Karthick Panner Selvam (https://events.linuxfoundation.org/pytorch-conference-north-america/program/schedule/?id=1340815)

下午 3:55

下午 4:20

下午 4:55

下午 5:10

下午 5:30

下午 6:00

相似文章

vllm-project/vllm

GitHub Trending (daily)

vLLM 是一个快速的开源大语言模型推理与服务库,具备 PagedAttention、连续批处理、广泛的量化与硬件支持,并兼容 200 多种 Hugging Face 模型架构。