标签
本文提出一种针对通用编码计算的流形感知编码策略,该策略利用高维数据的内在低维几何结构来提高分布式系统中的抗滞后性。实验表明,在神经网络推断和多项式求值任务中,该策略显著降低了均方恢复误差。
PyTorch 2.14 引入了对 Inductor、PyTorch Distributed、动态形状、Apple Silicon 支持等方面的更新,并有现场问答和 PyTorchCon 公告。
本文介绍了通用编码计算(GCC),一种学习理论框架,用于缓解分布式计算系统中的掉队节点问题,并提供了理论性能保证和在深度神经网络上的实验验证。
一个交互式、可探索的解释,介绍各种用于训练Transformer的并行化方案,改编自关于模型扩展的学术内容。
跨多台机器运行编码智能体表明,管理控制平面比管理智能体本身更具挑战性,为分布式智能体编排提供了洞见。
Prime Intellect工程师演示了一种方法,通过开放互联网使用分布式强化学习在30分钟内训练推理模型,利用Prime-RL、LLM评判器和多云GPU,使开放模型无需拥有数据中心即可与封闭实验室竞争。
Mesh LLM 是一个分布式AI计算平台,它聚集多台机器上的闲置GPU来运行大型语言模型,并暴露单一的OpenAI兼容API。该平台利用iroh的点对点网络,实现无需中央服务器的私有、去中心化推理。
本文重新审视了 SETI@home 分布式计算模型,将其作为利用闲置的办公和家用电脑处理任务,从而缓解对新数据库中心需求的潜在解决方案。
本文研究了OLS回归中的分布式草图化方法,该方法不是对整个数据集构建草图,而是基于分区子集构建,从而降低计算成本。作者刻画了平均估计量的精确超额损失,并表明当子集协方差散度较小时,该损失与全数据草图化的损失相当。
Ray 2.56 已发布,改进了 Ray Data、面向 LLM 的 Ray Serve、GPU 域感知放置组以及 Kubernetes 集成。
本文介绍了一种可编程概率计算机,通过连接FPGA实现了百万个p比特,在伊辛模型上以超过每秒一万亿次翻转的速度进行吉布斯采样,同时引入了一种设计规则,使其能够突破单芯片限制进行扩展。
本文探讨了AI训练能否像比特币挖矿那样去中心化,参与者贡献GPU资源训练开源模型以换取代币,并引发了关于验证、虚假梯度和效率等问题的讨论。
对最初由Sun Microsystems工程师提出的分布式计算八大谬误的回顾,探讨21年后这些谬误对网络运营商和开发者的持续相关性。
微软 AI 发布了 MAI-Thinking-1,一个拥有 350 亿活跃参数/1 万亿总参数的 MoE 推理模型,在 STEM 和编码任务上具有竞争力,使用 Ray 进行分布式训练和编排。
一篇博客文章,总结了荷兰-比利时数据库日的一个小组讨论,该讨论探讨了学术研究常常忽视的实际数据系统问题,例如变长字符串处理、不切实际的基准测试以及网络挑战。
Snowflake现在支持基于Ray的作业级批量推理,通过单一API调用即可在数百万非结构化数据点上执行分布式GPU,从而扩展模型推理。