@vivekgalatage: 并行算法入门 https://cs.cmu.edu/~guyb/paralg/paralg/parallel.pdf…
摘要
来自卡内基梅隆大学的并行算法入门资源，涵盖基本概念和技术。
并行算法入门 https://cs.cmu.edu/~guyb/paralg/paralg/parallel.pdf…
查看缓存全文
缓存时间: 2026/06/15 02:51
并行算法入门 https://cs.cmu.edu/~guyb/paralg/paralg/parallel.pdf… — 来源：https://www.cs.cmu.edu/~guyb/paralg/paralg/parallel.pdf
相似文章
@vivekgalatage: 来自康奈尔大学的路线图 - CUDA 入门 http://cvw.cac.cornell.edu/cuda-intro
本文介绍了康奈尔大学虚拟工作坊提供的免费在线教程，内容涵盖使用 C 语言进行基础 CUDA 编程，并包括先决条件和附加资源。
@_avichawla: https://x.com/_avichawla/status/2107427400779026843
一篇深入解析大模型推理并行策略的文章——涵盖数据并行、张量并行、流水线并行、上下文并行以及专家并行，讲解如何将推理任务拆分到多张 GPU 上，同时避免通信开销拖累性能。文章梳理了预填充（prefill）与解码（decode）两个阶段的区别、内存与通信瓶颈，并说明如何结合模型、硬件和工作负载约束，选定一种有说服力的并行布局。
@vivekgalatage: Algorithmica的内存组织是一个一直表现出色的资源。
推荐关于CPU缓存内存组织的Algorithmica资源，该资源提供了对内存内算法的详细实验分析和优化技术。
@reprompting: https://x.com/reprompting/status/2074133435401064486
一条详细总结《大规模并行处理器编程》一书的推文串，重点介绍CUDA和GPU编程概念、优化技术以及并行模式。
教科书评论：并行编程是否困难，如果困难，你能做什么？
作者评论了由Paul E. McKenney编写的免费在线教科书《Is Parallel Programming Hard, And, If So, What Can You Do About It?》，讨论了其对无锁并发和CPU缓存效应的关注，并分享了在度假期间阅读此书的个人背景。