@raydistributed: 在Snowflake上试用基于Ray的批量推理

X AI KOLs Following 2026/05/21 00:55 产品

ray snowflake batch-inference distributed-computing gpu data-pipeline machine-learning

摘要

Snowflake现在支持基于Ray的作业级批量推理，通过单一API调用即可在数百万非结构化数据点上执行分布式GPU，从而扩展模型推理。

在Snowflake上试用基于Ray的批量推理 ❄️

查看原文

查看缓存全文

缓存时间: 2026/05/21 21:37

尝试在 Snowflake 上使用 Ray 驱动的批量推理 ❄️

Snowflake (@Snowflake):
需要对数百万非结构化数据点进行大规模模型推理吗？

Snowflake 现已支持基于 Ray 的任务式批量推理：一次 API 调用，分布式 GPU 执行，结果直接写回 Snowflake。

相似文章

X AI KOLs Following

Ray 2.56 已发布，改进了 Ray Data、面向 LLM 的 Ray Serve、GPU 域感知放置组以及 Kubernetes 集成。

X AI KOLs Following

Anyscale正在举办一场动手虚拟实验室课程，教授开发者如何使用Ray构建和扩展数据管道，涵盖视频数据筛选、分布式GPU推理以及CPU/GPU流式管道。

X AI KOLs Following

Snowflake AI Research 发布 Arctic RL，这是一个开源统一的强化学习后端，集成了 VeRL 和 SkyRL，可实现高达 6 倍的演员更新加速和 3.5 倍的端到端训练速度提升。它包含了文本到 SQL 和多跳问答的配方，在企业基准测试中达到了具有竞争力的准确率。

Hugging Face Daily Papers

RayOrch引入了一种编程模型和分布式执行引擎，用于基础模型数据准备中的谱系控制数据流，与现有系统如RayData和Daft相比，在GPU上实现了显著加速。

X AI KOLs Following

该推文讨论了微软 AI 使用 Ray actors 训练 MAI-Thinking-1 模型，实现了对异构计算的更细粒度控制，并更好地利用了 GPU 集群中闲置的 CPU 资源。