标签
Ray 2.56 已发布,改进了 Ray Data、面向 LLM 的 Ray Serve、GPU 域感知放置组以及 Kubernetes 集成。
本文介绍了一种可编程概率计算机,通过连接FPGA实现了百万个p比特,在伊辛模型上以超过每秒一万亿次翻转的速度进行吉布斯采样,同时引入了一种设计规则,使其能够突破单芯片限制进行扩展。
本文探讨了AI训练能否像比特币挖矿那样去中心化,参与者贡献GPU资源训练开源模型以换取代币,并引发了关于验证、虚假梯度和效率等问题的讨论。
对最初由Sun Microsystems工程师提出的分布式计算八大谬误的回顾,探讨21年后这些谬误对网络运营商和开发者的持续相关性。
微软 AI 发布了 MAI-Thinking-1,一个拥有 350 亿活跃参数/1 万亿总参数的 MoE 推理模型,在 STEM 和编码任务上具有竞争力,使用 Ray 进行分布式训练和编排。
一篇博客文章,总结了荷兰-比利时数据库日的一个小组讨论,该讨论探讨了学术研究常常忽视的实际数据系统问题,例如变长字符串处理、不切实际的基准测试以及网络挑战。
Snowflake现在支持基于Ray的作业级批量推理,通过单一API调用即可在数百万非结构化数据点上执行分布式GPU,从而扩展模型推理。
一块浸入石蜡油一年的Raspberry Pi Zero 2 W,在计算BOINC项目的小行星数据时,性能比未冷却的同款设备提升了5.97%。
Nvidia 正在支持 Span 的一项计划,部署住宅微型数据中心,利用闲置的家庭电力运行分布式 AI 工作负载。该方案旨在通过将 GPU 节点部署在住宅附近来规避电网限制,尽管其在实际部署中仍缺乏充分验证。
探讨消费级硬件在执行推理、微调及合成数据生成等 AI 任务中的实际价值,质疑本地部署除隐私保护外是否还能提供实质性的贡献。
Anyscale正在举办一场动手虚拟实验室课程,教授开发者如何使用Ray构建和扩展数据管道,涵盖视频数据筛选、分布式GPU推理以及CPU/GPU流式管道。
本文介绍了AgentScope平台的增强功能,包括基于Actor的分布式机制和灵活的环境支持,以实现可扩展、高效且用户友好的超大规模多智能体仿真。
LakeSail 推出 Sail,一款基于 Rust 重新实现的 Apache Spark,在保持完整 API 兼容的同时,性能提升 8 倍,基础设施成本降低 94%。