@ChefRobotics 在 Anyscale 上训练其食品装配机器人背后的视觉-语言-动作（Vision-Language-Action）模型速度提升 10 倍，在 16 块 A100 上进行多 GPU 训练时扩展效率达到 92%。

阅读完整案例：https://t.co/J6B07IbV9f https://t.co/gJdEqZliPx

Chef Robotics 基于 Anyscale 扩展自主食品装配机器人

来源：https://www.anyscale.com/resources/case-study/chef-robotics

Chef Robotics 为食品制造工厂构建自主机器人系统，机器人从原料容器中拾取食材、进行定量分配，并将食材放置到预包装餐食中的最终位置。这项工作依赖机器学习而非手工编码规则，因为客户会根据重量一致性、外观和溢出情况等指标来评判产出质量，而这些指标难以用固定标准来定义，尤其考虑到 Chef 机器人处理的食材种类繁多。

目前，Chef 正在开展研究，以拓展至更低产量的运营场景，如快休闲餐厅和幽灵厨房（ghost kitchen）。上述方法也延伸到了更通用的系统中，包括 Chef 最近构建的双臂机器人平台，旨在服务于对灵活性和灵巧性要求最高、但吞吐量需求远低于大批量制造的餐饮业务场景。这些场景包括幽灵厨房、快休闲餐厅、QSR（快食餐厅）、监狱、酒店、体育场、活动场馆、企业、K-12 学校和大学。Chef 能够以预训练的前沿级基础模型为基座，再用食品数据进行后训练，使其具备食品操作能力。

为了训练赋予 Chef 机器人这种适应能力的基础模型，团队需要一个分布式计算平台，既能跟上实验性强、节奏快速的研究过程，又能在工作负载增长为更大的多 GPU 训练任务时保持稳定。Chef 的应用 AI 团队与负责生产部署的自主团队紧密合作，采用 Ray on Anyscale 来执行这些训练任务。

挑战

随着 Chef 推动训练更大、更强的基础模型，团队需要一套能够跟上实验性研究节奏的基础设施，支持迅速超出单机规模的训练任务，同时不增加应用 AI 团队无法承受的成本或工程开销。

三大挑战横在面前：

• 迭代速度需要跟上不可预测的研究和数据收集周期。 Chef 对新模型的数据收集是临时性的，而非按计划进行，因此一旦新的多摄像头视频和传感器数据就绪，团队就需要立即开始训练。基础模型的训练——包括 Chef 针对过于复杂而无法手工编码的食品操作任务所训练的基于 Pi0 的模型——耗时足够长，以至于限制了团队在一周内可以测试的想法数量，而手动配置 GCP 实例和管理训练脚本的工作流又在此基础上增加了摩擦。

• 分布式训练的可靠性需要在 GPU 任务扩展至单节点之外时依然稳固。 早期，失去集群访问权限带来了真实风险，因为 H100 容量一旦失去，可能需要数天才能重新获得，且 GPU 可用性可能在一周之间甚至一天之间发生明显变化。随着训练从单节点任务转向更大的多 GPU 集群，Chef 需要一种可靠获取 GPU 容量的方式，并且在跨节点扩展训练时，扩展本身不会引入新的故障点。

• 成本效率需要在不牺牲灵活性的前提下实现扩展。 直接在 GCP 上运行大型训练任务意味着需要手工应对 spot 实例中断带来的运营成本，包括任务崩溃和手动重启，这些都可能使一次训练进度严重倒退。Chef 希望在合适场景下享受 spot 容量的成本优势，但不想要求精干的应用 AI 团队自己构建和维护这层可靠性。

“我们的客户关注的是投放的整体质量：重量一致性、外观，以及是否有溢出。溢出或投放效果好坏并没有显而易见的指标，这正是这个问题在没有学习方法的情况下如此难以解决的原因之一。”

Luis Rayas | CTO, Chef Robotics

解决方案

Chef 的自主团队最初通过 Anyscale 直接评估了 Ray，一个早期的概念验证让他们确信采用其作为 Chef 应用 AI 工作的训练平台。随着训练工作负载的增长，团队在此基础上持续构建。

借助 Anyscale，Chef Robotics 得以：

• 从多天训练周期转向当天迭代。 Chef 在 Anyscale 上训练和微调 Pi0 等基础模型，通过 Anyscale CLI 启动作业，并通过 Weights and Biases 和 Anyscale 自有工具监控进度，总训练时间实现了数量级的缩减。

• 从单节点可靠扩展到多节点 GPU 集群。 Chef 现在在 Anyscale 上的 16 块 A100 GPU 集群上训练基础模型，由平台自动管理跨区域的 GPU 访问，而不需要团队手动搜索可用容量。

• 在 spot 和预留实例之间灵活切换，且无需承担中断的运营成本。 Chef 可以通过一次配置变更而非手动流程，将训练任务在 spot 和预留容量之间切换，使其在合适时享受 spot 定价，而无需自己针对抢占（preemption）进行工程适配。

“我们可以用一个大型机器学习模型来处理这个问题，应对那些用经典的、基于物理的模型根本无法推理的边缘情况。这需要大量参数和大量数据，小规模的方法是无法做到的。”

Luis Rayas | CTO, Chef Robotics

更快的迭代和开发体验

在使用 Anyscale 之前，测试一个新基础模型意味着手动配置 GCP 实例并手动启动训练脚本，这种工作流在早期实验阶段尚可，但随着迭代节奏加快便增加了摩擦。在 Anyscale 上，Chef 团队通过 Anyscale CLI 启动每个训练任务，为团队提供了一致、可脚本化的方式来在其 GPU 集群上启动运行，而无需直接管理实例。由于 CLI 和底层 Anyscale API 都易于以编程方式调用，团队已围绕该工作流构建了自己的工具，可以在不手动操作基础设施的情况下启动任务和查看状态。

同样的可见性也延伸到了团队处理故障的方式。当训练任务中途失败时——通常在运行约一小时后——迄今原因都归结为与内存相关的问题，尽管每次的具体修复方式不同。Anyscale 的仪表板结合 Weights and Biases，为团队提供了集群、资源和任务层面的一致视图，使得追踪故障原因并快速恢复正常运行变得简单，无需长时间停机。

“当训练任务失败时，我会让一个 agent 直接通过 Anyscale CLI 来帮助调试。两次失败都与内存有关，但每次的修复方式不同，有 agent 在驾驶座上让这个过程变得很容易。”

Luis Rayas | CTO, Chef Robotics

从单节点到分布式扩展的可靠 GPU 访问

GPU 可用性是 Chef 早期训练工作中最不可预测的部分之一。失去集群访问权限意味着可能需要数天才能重新获得 H100 容量的真实风险，这也是团队全天候保持工作区活跃以避免延迟的原因。随着训练扩展到 16 块 A100 GPU 集群，Anyscale 直接承接了大部分这样的负担，自动跨区域搜索可用容量，而不需要团队手动操作。

在整个扩展过程中，GPU 利用率始终保持在高位。团队在 Anyscale 中直接跟踪利用率，在采用平台前后均保持了单机上 GPU 的充分饱和，这意味着扩展到更大的集群并未以牺牲效率为代价。

“早期，失去 GPU 集群意味着可能数天都无法重新获得 H100 访问权限的真实风险。现在有了 Anyscale，如果一个区域没有容量，我们会自动尝试其他区域直到成功。此外，我们在 Anyscale 中直接跟踪 GPU 利用率，在更大规模下依然全程保持充分饱和。”

Luis Rayas | CTO, Chef Robotics

灵活的 spot 和预留容量，无需付出抢占代价

Chef 目前主要在预留实例上运行基础模型训练，这在很大程度上是因为数据收集是临时性的，团队需要在新数据就绪后立即开始训练。在 Chef 早期使用 Anyscale 时，团队也直接测试了 spot 实例，与在原生 GCP 上运行 spot 容量时抢占可能导致任务崩溃并需要手动重启的经历不同，Anyscale 上的 spot 实例保持了可靠性，使团队可以在合适时转向 spot 定价以实现成本效率，而无需自己承担管理中断的工程工作。

“在 spot 和按需实例之间切换在 Anyscale 上都运行良好。过去要预留实例很麻烦，但在这里我可以翻转一个开关，让 Anyscale 来处理。”

Luis Rayas | CTO, Chef Robotics

下一步计划

Chef 正准备将 Anyscale 的使用扩展到新的研究阶段，为其机器人训练一个预测性世界模型（predictive world model）。在 Anyscale 上并行化仿真工作负载也在 Chef 的路线图上，团队预计其平台组织将随着时间推移逐步承担起 Anyscale 的共享所有权，使其从一个应用 AI 研究工具转变为 Chef 核心生产基础设施的一部分。

“我们的下一个重要实验是训练一个预测性世界模型，本质上是一个神经模拟器，让我们能够在机器人实际执行任务之前运行反事实推理，并训练系统更好地完成任务。”

Luis Rayas | CTO, Chef Robotics