@kazukifujii: 技术博客发布日5 这是系列博客的第一篇,从基础开始讲解CUDA编程,以…
摘要
Kazuki Fujii 宣布发布CUDA编程基础系列博客的第一篇,以通俗易懂的方式撰写,对于理解FlashAttention和硬件感知加速技术至关重要。
技术博客发布日5
这是系列博客的第一篇,从基础开始讲解CUDA编程,这对于理解或提出FlashAttention或最新的硬件感知加速技术至关重要。这篇博客超过30000字,但我以非常通俗易懂的方式撰写,敬请阅读。
CUDA编程指南第1部分|Kazuki Fujii
查看缓存全文
缓存时间: 2026/06/05 13:15
技术博客发布第5天
这是系列博客的第一篇,从基础开始讲解CUDA编程,这对于理解或提出FlashAttention以及近期硬件感知加速技术至关重要。博客全文超过3万字,但我以非常易懂的方式撰写,欢迎阅读。
CUDA编程指南 第一部分 | Kazuki Fujii
Kazuki Fujii (@kazukifujii): テックブログ公開 Day4です。
RLVR(強化学習)時代において欠かすことのできないweight syncの機能についてvLLMがどのようにこれを実現しているのかやさしく解説を行いました。
RLVR時代におけるInference Framework: Weight Syncing編|Kazuki Fujii
相似文章
@SzymonOzog_: 周六阅读:“What happens when you run a CUDA kernel”——非常酷的博客文章,详细介绍了CPU与GPU通信的细节…
推荐一篇博客文章的推文,该文章解释了启动CUDA内核时所需的CPU-GPU通信细节。
@maxxfuu: 推理工程第6/90天 我写了一个用于一维卷积的CUDA内核,只是为了练习写未优化的……
一位开发者分享了他们在推理工程的第6天,编写了一个用于一维卷积的CUDA内核,解释了PagedAttention的内存效率,并概述了GPU内存层次结构(全局、寄存器、本地、常量、共享)。
@goyal__pramod: 软件在进化,你也应该如此!这是我读过的理解GPU和CUDA的最佳博客!
推荐一系列理解GPU和CUDA的博客,鼓励开发者提升技能的推文。
@v0xium: 如果你正在寻找一篇详细介绍CUDA基础的文章,请花一个小时阅读此文。链接到…
一篇更新的CUDA编程初学者友好教程,涵盖如何编写简单的内核在GPU上对数组进行加法运算。
@levidiamode: GPU编程第158/365天——我觉得我大致理解了FlashAttention 2、3和4前向传播的高级区别…
作者记录了学习GPU编程的进展,重点在于理解FlashAttention 2、3和4前向传播的高级区别,并列出了需要进一步探索的几个底层概念。