标签
推荐Harrison Chase关于多agent系统设计指南的博客，核心观点是多agent系统分'读'和'写'，读易并行，写易冲突，并总结了适合与不适合的场景以及工程配套。
本文解释了批处理和并行操作如何改善AI计算机使用系统中的延迟和效率，重点介绍了pi-computer-use和cua-driver等开源实现，它们在Codex出现类似功能之前就取得了显著的性能提升。
Rob Pike在2012年的演讲解释了并发与并行的区别，强调并发是关于独立执行任务的组合，而并行是关于同时执行。这场演讲是计算机科学教育中的经典之作。
作者讨论了将AI记忆摄入从数千份扩展到数百万份文档的架构，强调编排和并行性而非原始计算能力，并使用Prefect进行工作流管理。
作者分享，从单个24GB GPU升级到双24GB GPU后，LLM性能提升并非通过更大模型实现，而是通过并行性：使用一个主编排代理配合多个较小的子代理，从而提高了编码任务的整体吞吐量。
一条推文列出了16种推理优化技术，用于实现低于一秒的LLM响应，包括KV缓存、推测解码、FlashAttention和各种并行化方法。
从单个AI智能体过渡到协调的智能体集群的详细路线图，涵盖何时拆分、如何无冲突地运行并行子智能体，以及如何使用Claude Code原语在大规模下保持系统稳定。
本文介绍了DigenRL，一个用于基于扩散的生成式LLMs的解耦RL框架，它利用生成轴流水线并行和训练器辅助生成，相比现有系统实现了1.56-2.10倍的吞吐量提升。
这篇博客分析了PivCo-Huffman论文，该论文引入了并行Huffman解码的“合并”操作，无需交错开销即可实现高效的向量化和GPU友好解码。
关于使用CuTe DSL和瓦片编程模型重写并行性以提升FA4 (FlashAttention 4) 内核性能的讨论。
解释推理内核与训练不同，Flash Attention 4 侧重于改变跨KV的并行性并支持小型不规则负载。
这篇来自NVIDIA Research的博客讨论了序列并行化如何扩展长视频训练系统，既支持理解任务也支持生成任务，解决了在多GPU上适配超长视频序列的挑战。
本文分享了构建低延迟、高吞吐量AI代理的实用经验，包括工作负载估算、令牌减少、并行处理、微服务以及处理LLM故障等。
Kakuna 是一种通过自动化繁琐任务来加固代码库的技能，它能生成可用于生产的提交并附带审计记录，同时将对如何为人类和智能体访问设计应用的观点编码到其中，专注于子智能体并行和“鲻鱼工厂”方法。
一位学习者分享了对斯坦福大学CS336第7讲关于GPU并行性的热情，该讲座涵盖了基本操作，并将其连接到多GPU设置以及张量并行、数据并行和流水线并行等技术。
DynaTrain 是一个分布式训练系统，能够在大语言模型上实现亚秒级在线并行度重配置，通过虚拟参数空间抽象，使转换速度比现有方法快多达三个数量级。
本文介绍了SNLP，这是一个通过用结构化近似替代精确牛顿校正来实现Transformer层并行推理的框架，在0.5B模型上实现了高达2.3倍的加速，同时降低了困惑度。
一篇技术深度文章，探讨大型语言模型中预训练运行失败的常见原因，包括专家路由中的因果破坏问题和数值精度错误，并附有Llama 4、Gemini 2 Pro和GPT-4的示例。
OxCaml 是 Jane Street 对 OCaml 编译器的分支，它引入了编译时对数据竞态的保证，从而在不增加运行时开销的情况下实现顺序一致性。这篇博文解释了新的模式轴及其对并行编程的影响。