@PyTorch:当你在长上下文上运行模型时,KV 缓存会变得非常庞大,因此你不得不丢弃其中的一部分。有一些相互竞争的……

X AI KOLs Timeline 事件

摘要

预告在 PyTorch Conference North America 上,来自 AMD 的 Huanran Wang 将展示海报 FlexBudget:在统一的 FlexAttention 编译内核与固定显存预算下,只替换 KV 重要性规则,从而对长上下文 KV cache 丢弃策略做公平、免训练的对比。

当你让模型处理很长的上下文时,KV 缓存会变得非常庞大,因此必须丢弃其中一部分。对于该丢弃哪些内容,有各种不同的规则:保留最近的 token、保留获得最多注意力的 token,等等。问题在于,每种方法都把自己的规则与专属内核牢牢绑定在一起。因此,如果一种方法胜过另一种,你就无法判断究竟是规则更聪明,还是代码运行得更快。 在 #PyTorchCon 北美大会上,来自 @AMD 的 Huanran Wang 将展示海报:FlexBudget:在同一个编译后的 FlexAttention 预算下互换 KV 重要性信号 我们固定内核和内存预算,只替换规则。相同的代码,相同的额度,公平的比较。无需训练,而且完全基于 PyTorch 核心功能。 欢迎于 10 月 20—21 日在圣何塞与我们相聚,了解更多:https://hubs.la/Q04v4SL60
查看原文
查看缓存全文

缓存时间: 2026/10/13 19:47

当你让模型处理长上下文时,KV 缓存会变得非常庞大,因此必须丢弃其中的一部分。对于该丢弃哪些内容,有多种相互竞争的规则:保留最近的词元、保留获得最多注意力的词元,等等。问题在于,每种方法都将自己的规则与专属内核紧密绑定。因此,如果一种方法胜过另一种,你无法判断究竟是规则更聪明,还是代码运行得更快。

在 #PyTorchCon 北美大会上,来自 @AMD 的 Huanran Wang 将展示海报:FlexBudget:在同一编译后的 FlexAttention 预算下可互换的 KV 重要性信号 我们固定内核和内存预算,只更换规则。相同的代码,相同的额度,公平的比较。它无需训练,而且完全基于 PyTorch 核心功能。

10 月 20–21 日,欢迎在圣何塞与我们相聚,了解更多:https://hubs.la/Q04v4SL60


注册 | PyTorch 北美大会:深度学习大会

来源:https://events.linuxfoundation.org/pytorch-conference-north-america/register/?utm_campaign=41307495-PyTorch%20Conference%202026%20-%20North%20America&utm_source=Speakers

**开源 AI 的未来在这里决定.**不要错过!

PyTorch 大会票价

各档注册的截止时间为相应日期的太平洋时间晚上 11:59\。

普通参会者

超早鸟价2026 年 3 月 31 日–4 月 10 日
早鸟价2026 年 4 月 11 日–7 月 31 日
标准价2026 年 8 月 1 日–9 月 4 日
晚期价2026 年 9 月 5 日–10 月 21 日

$ 999 USD

学术人员*

超早鸟价2026 年 3 月 31 日–4 月 10 日
早鸟价2026 年 4 月 11 日–7 月 31 日
标准价2026 年 8 月 1 日–9 月 4 日
晚期价2026 年 9 月 5 日–10 月 21 日

$ 249 USD

团队参会?一次购买 10+ 个注册名额即可享受 25% 的折扣\。请联系[email protected]领取折扣\。

*须提供学术身份证明

包含哪些内容?

您的 PyTorch 大会注册包含:

  • 所有大会内容——主题演讲、大会分会场、专题讨论等\。
  • 社交活动与交流活动:Flare 派对
  • 社区展区入场资格
  • 午餐、上午和下午的咖啡及点心
  • 活动周边礼品
  • DE LA SOUL 参与演出的 AI 社区派对

注册类型

**学术人员:**学术人员和学生注册适用于目前在读的全日制学生及全职教职员工\。符合条件者需上传由所在院校签发且标明有效期的有效证件副本、当前课程成绩单,或当前在职证明,以证明注册时具有全日制学生或全职教职员工身份\。如有任何疑问,请联系[email protected]\。

**小企业:**我们的小企业注册折扣适用于年收入低于 500 万美元且员工人数少于 30 人的公司\。请通过[email protected]联系我们,申请小企业注册折扣码\。

**演讲者:**您应该已在录用通知邮件中收到注册链接\。如果没有收到,请联系[email protected]了解更多详情\。

**赞助商:**注册链接已通过电子邮件发送给贵公司的赞助事务联系人\。如果您需要以赞助商身份注册,请联系贵公司的赞助事务联系人\。如有其他疑问,请发送邮件至[email protected]\。

**媒体:**如果您是有意参加本次活动的媒体人员,且尚未收到免费入场码,请联系[email protected],我们的公关团队成员将与您联系\。

其他信息

**简要提醒:**我们从不出售参会者名单或联系信息,也不会授权他人这样做\。如果您收到声称出售 Linux 基金会活动参会者名单的电子邮件,请将其转发至[email protected]\。

奖学金

进一步了解奖学金和差旅资助 (https://events.linuxfoundation.org/pytorch-conference-north-america/attend/scholarships-travel-funding/)机会\。

发票与参会证明

**注册发票:**您可以在注册后收到的确认邮件中,从付款收据信息部分下载发票收据\。如果可下载的发票收据不符合您的需求,或者您需要重新发送确认邮件,请提交申请 (https://docs.google.com/forms/d/e/1FAIpQLSdFIGoXFCt5gVxXL4WGY9NsFhqhBrNFQfsx3ps8RfSVf9HUYg/viewform?usp=sf_link)\。请在申请中注明您对发票收据的任何额外定制需求\。

**参会证明:**您可以直接在您的 LFX 仪表板 (https://openprofile.dev/myevents)中,前往 LF Events 栏下的“过去的活动”部分,下载参会证明\。请注意:我们通过注册系统核实出席情况,证明仅在活动结束后开放下载\。

退款政策

**取消:**如果您因任何原因必须取消,请重新登录您的注册页面 (https://register.linuxfoundation.org/pytorch-conference-na-26),点击“注册/修改”按钮,然后选择“取消注册\。”仅对在主活动开始日期两周前收到的取消申请办理退款 (包括批量购票发票申请、同期举办的活动及附加项目),退款将在取消后的 7–10 个工作日内以退款入账的形式显示在银行卡账单上\。退款只能退至原付款银行卡\。

请注意,所有退款均需扣除6% 的手续费\。

**替换参会者:**如果您无法出席,可以由其他参会者替代您,无需取消注册\。如需替换参会者,请重新登录您的注册页面 (https://register.linuxfoundation.org/pytorch-conference-na-26),点击“注册/修改”按钮,然后在确认页面上选择“转让注册”\。如果您需要进一步协助,请发送邮件至[email protected]\。

相似文章