@PyTorch:当你在长上下文上运行模型时,KV 缓存会变得非常庞大,因此你不得不丢弃其中的一部分。有一些相互竞争的……
摘要
预告在 PyTorch Conference North America 上,来自 AMD 的 Huanran Wang 将展示海报 FlexBudget:在统一的 FlexAttention 编译内核与固定显存预算下,只替换 KV 重要性规则,从而对长上下文 KV cache 丢弃策略做公平、免训练的对比。
查看缓存全文
缓存时间: 2026/10/13 19:47
当你让模型处理长上下文时,KV 缓存会变得非常庞大,因此必须丢弃其中的一部分。对于该丢弃哪些内容,有多种相互竞争的规则:保留最近的词元、保留获得最多注意力的词元,等等。问题在于,每种方法都将自己的规则与专属内核紧密绑定。因此,如果一种方法胜过另一种,你无法判断究竟是规则更聪明,还是代码运行得更快。
在 #PyTorchCon 北美大会上,来自 @AMD 的 Huanran Wang 将展示海报:FlexBudget:在同一编译后的 FlexAttention 预算下可互换的 KV 重要性信号 我们固定内核和内存预算,只更换规则。相同的代码,相同的额度,公平的比较。它无需训练,而且完全基于 PyTorch 核心功能。
10 月 20–21 日,欢迎在圣何塞与我们相聚,了解更多:https://hubs.la/Q04v4SL60
注册 | PyTorch 北美大会:深度学习大会
来源:https://events.linuxfoundation.org/pytorch-conference-north-america/register/?utm_campaign=41307495-PyTorch%20Conference%202026%20-%20North%20America&utm_source=Speakers
**开源 AI 的未来在这里决定.**不要错过!
PyTorch 大会票价
各档注册的截止时间为相应日期的太平洋时间晚上 11:59\。
普通参会者
超早鸟价2026 年 3 月 31 日–4 月 10 日
早鸟价2026 年 4 月 11 日–7 月 31 日
标准价2026 年 8 月 1 日–9 月 4 日
晚期价2026 年 9 月 5 日–10 月 21 日
$ 999 USD
学术人员*
超早鸟价2026 年 3 月 31 日–4 月 10 日
早鸟价2026 年 4 月 11 日–7 月 31 日
标准价2026 年 8 月 1 日–9 月 4 日
晚期价2026 年 9 月 5 日–10 月 21 日
$ 249 USD
团队参会?一次购买 10+ 个注册名额即可享受 25% 的折扣\。请联系[email protected]领取折扣\。
*须提供学术身份证明
包含哪些内容?
您的 PyTorch 大会注册包含:
- 所有大会内容——主题演讲、大会分会场、专题讨论等\。
- 社交活动与交流活动:Flare 派对
- 社区展区入场资格
- 午餐、上午和下午的咖啡及点心
- 活动周边礼品
- DE LA SOUL 参与演出的 AI 社区派对
注册类型
**学术人员:**学术人员和学生注册适用于目前在读的全日制学生及全职教职员工\。符合条件者需上传由所在院校签发且标明有效期的有效证件副本、当前课程成绩单,或当前在职证明,以证明注册时具有全日制学生或全职教职员工身份\。如有任何疑问,请联系[email protected]\。
**小企业:**我们的小企业注册折扣适用于年收入低于 500 万美元且员工人数少于 30 人的公司\。请通过[email protected]联系我们,申请小企业注册折扣码\。
**演讲者:**您应该已在录用通知邮件中收到注册链接\。如果没有收到,请联系[email protected]了解更多详情\。
**赞助商:**注册链接已通过电子邮件发送给贵公司的赞助事务联系人\。如果您需要以赞助商身份注册,请联系贵公司的赞助事务联系人\。如有其他疑问,请发送邮件至[email protected]\。
**媒体:**如果您是有意参加本次活动的媒体人员,且尚未收到免费入场码,请联系[email protected],我们的公关团队成员将与您联系\。
其他信息
**简要提醒:**我们从不出售参会者名单或联系信息,也不会授权他人这样做\。如果您收到声称出售 Linux 基金会活动参会者名单的电子邮件,请将其转发至[email protected]\。
奖学金
进一步了解奖学金和差旅资助 (https://events.linuxfoundation.org/pytorch-conference-north-america/attend/scholarships-travel-funding/)机会\。
发票与参会证明
**注册发票:**您可以在注册后收到的确认邮件中,从付款收据信息部分下载发票收据\。如果可下载的发票收据不符合您的需求,或者您需要重新发送确认邮件,请提交申请 (https://docs.google.com/forms/d/e/1FAIpQLSdFIGoXFCt5gVxXL4WGY9NsFhqhBrNFQfsx3ps8RfSVf9HUYg/viewform?usp=sf_link)\。请在申请中注明您对发票收据的任何额外定制需求\。
**参会证明:**您可以直接在您的 LFX 仪表板 (https://openprofile.dev/myevents)中,前往 LF Events 栏下的“过去的活动”部分,下载参会证明\。请注意:我们通过注册系统核实出席情况,证明仅在活动结束后开放下载\。
退款政策
**取消:**如果您因任何原因必须取消,请重新登录您的注册页面 (https://register.linuxfoundation.org/pytorch-conference-na-26),点击“注册/修改”按钮,然后选择“取消注册\。”仅对在主活动开始日期两周前收到的取消申请办理退款 (包括批量购票发票申请、同期举办的活动及附加项目),退款将在取消后的 7–10 个工作日内以退款入账的形式显示在银行卡账单上\。退款只能退至原付款银行卡\。
请注意,所有退款均需扣除6% 的手续费\。
**替换参会者:**如果您无法出席,可以由其他参会者替代您,无需取消注册\。如需替换参会者,请重新登录您的注册页面 (https://register.linuxfoundation.org/pytorch-conference-na-26),点击“注册/修改”按钮,然后在确认页面上选择“转让注册”\。如果您需要进一步协助,请发送邮件至[email protected]\。
相似文章
@PyTorch:当GPU显存耗尽时,@vllm_project 会将KV缓存卸载到CPU或存储中。@_llm_d_ 追踪每个块的存放位置……
将于10月20-21日在圣何塞举办的PyTorch北美大会将展出来自Moreh的Bongwoo Bak关于KV缓存块放置的海报,涵盖vLLM在GPU、CPU和共享存储之间的卸载策略。该推文还介绍了大会的注册等级和票价信息。
HeadWiseKV:针对混合长上下文语言模型的预算化每头缓存驻留
HeadWiseKV 是一个无需训练的框架,用于压缩混合长上下文语言模型中的KV缓存,在保持质量的同时减少GPU内存使用并扩展上下文长度。
@akshay_pachaar: NVIDIA的精彩论文。他们找到了一种使KV缓存可在模型间转移的方法。目标模型跳过预填充…
NVIDIA的论文介绍了一种在LLM模型间传输KV缓存的方法,使目标模型能够跳过预填充,实现比重新处理上下文快2.7到25倍的转换。
@yukangchen_: 我们很高兴分享一篇新的技术文章《KV缓存压缩及其基础设施问题》。https://research.nvidia.…
NVIDIA Research发布了一篇技术博客,探讨KV缓存压缩技术及其基础设施问题,包括FlashAttention和paged attention如何为长上下文LLM的生产部署带来实际障碍,并提出了一个使用RoPE的几何解决方案。
@QuixiAI: 教训总结:始终使用BF16 KV缓存。我之前用的是turboquant。是的,VRAM消耗很糟糕——所以另一个技巧是…
作者分享了使用BF16 KV缓存而非turboquant进行AI模型优化的技术经验,并在SlimServe中为Qwen模型实现了CPU卸载以管理VRAM消耗。