@_akhaliq: GPU Forecasters 语言模型作为内核运行时优化的选择性代理
摘要
本文提出使用语言模型作为选择性代理来优化GPU内核运行时,展示了一种新颖的性能预测方法。
GPU Forecasters
语言模型作为内核运行时优化的选择性代理 https://t.co/s2r0lFWz9r
查看缓存全文
缓存时间: 2026/06/02 19:38
GPU预测器
语言模型作为内核运行时优化的选择性替代方案 https://t.co/s2r0lFWz9r
相似文章
@akshay_pachaar: https://x.com/akshay_pachaar/status/2094490705024676272
这篇文章解释了用于在GPU上服务大型语言模型的静态、动态和连续批处理策略,详细说明了它们的权衡以及如何优化吞吐量和减少空闲时间。
@levidiamode: GPU编程的第163/365天 - 今天看几个不同的agentic GPU内核优化系统。我最感兴趣的两个是…
一条推文讨论了两种agentic GPU内核优化系统:@dogacel0的Auto GPU Kernel和@songhan_mit实验室的Kernel Design Agents,两者均在MLSys Sparse Attention FlashInfer比赛中获胜。该帖子突出了使用子代理和Claude技能进行GPU编程的不同方法。
@liao_lucas: https://x.com/liao_lucas/status/2097149853499588971
本文介绍了在AI推理和性能工程背景下的GPU内核,解释了它们的定义、使用方法以及自定义内核在优化中的优势。
面向AMD GPU的更好HIP内核生成:合成数据、多智能体搜索与强化学习
探讨了合成数据生成、多智能体优化和强化学习,以提高语言模型为AMD GPU生成高性能HIP内核的能力,并在MI350X上展示了编译率和正确率的提升。
MetaKernelBench:超越代码层面的 GPU Kernel 知识迁移度量
MetaKernelBench 引入了一个基准,用于衡量 GPU kernel 优化智能体在一个 DSL(CuTeDSL)中提炼的经验能否迁移到另一个 DSL(TIRx)解决同一问题。结果显示六款模型的提升幅度参差不齐,范围从 -19% 到 +29%。