Moneyball for Physical AI（26分钟阅读）

# 物理AI的“点球成金” 来源：https://praxiscurrents.substack.com/p/moneyball-for-physical-ai 2002年，奥克兰运动家队尽管拥有美国职业棒球大联盟第三低的薪资总额，却赢下了103场比赛。这一优势的出现，是因为球员资产的市场定价出现了偏差：传统球探偏爱主观的审美、盗垒和击球率，而前瞻性的管理层则从数学上孤立了上垒率——那个真正与得分相关的统计指标。 *在一个充满直觉型评论家的领域里，用正确的统计指标找到信号：***点球成金**！ 物理AI的数据被误解了，也被错误地定价了。 [图片](https://substackcdn.com/image/fetch/$s_!BVpC!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F7cdb54b8-6d97-4bd5-a745-afcb30b697f0_1470x832.jpeg) 对于物理AI来说，数据并不存在。数据有其固有的创造代价。我们需要超越以小时或token为单位的天真缩放数据。 信奉规模法则往往意味着“相信数据”。然而，与文本不同，机器人数据无法被挖掘。每一个有用的小时都需要付费，因此采集规模是线性增长的，而成本却不会下降。最近，Ken Goldberg估计，前沿机器人模型可能需要大约 **10万年**（来源：https://www.science.org/doi/10.1126/scirobotics.aea7390）。 > **AGI革命不会在****血汗工厂式的遥操作****下进行监督学习。** 为了绕过这一瓶颈，业界已经扩大了人工遥操作基础设施的规模。然而，优化累积运营小时数，复制了早期棒球中的“击球率”谬误：它优先考虑一个可见的、易于筹集的指标，而这个指标与下游模型的实际性能相关性很弱。另一种策略提出将机器人部署到生产环境中，以获取遥测数据，将其作为运营收入的零成本副产品。这种模式引入了同一统计错误的更微妙版本。**今天能够部署的利基市场，正是那些方差最小、产生低熵、相关性强的数据流，且边际效用极低的领域。** **本文构建了一个关于数据边际效用的框架，并用它来讨论物理AI中的价值积累。**我们采用指导损失如何随数据变化的规模法则，以及决定一美元数据值多少钱的单位经济学视角。两者共同给出了每美元的近似边际效用，即物理AI的上垒率。 **资本效率不是通过最大化数据量来实现的，而是通过精确计算和定价数据的新颖性来实现的。** 如果你想直接跳到结论，请跳转到**建议**部分（https://praxiscurrents.substack.com/i/203375072/8-strategic-recommendations）。 不同的利益相关者对数据有不同的看法。方便的是，*每种世界观恰好使他们自己的那块数据最有价值。* - 基础模型实验室推销通用模型规模，因此过分强调大规模预训练的作用，他们假设原始计算规模最终会消除边缘案例错误。 - 遥操作供应商提供基础设施服务，优先考虑并货币化原始运营小时数，因为他们的收入与数据量成正比，而非数据效用或新颖性。 - 硬件厂商的运营基于环境静止的假设，因为他们的解决方案在分布外会失败。 - 而一大群学术机器人专家则否认这是一个数据问题，期望物理学、模型和控制能在没有大量数据的情况下弥合差距。 需要分析的关键原型是**新集成商**（来源：https://www.linkedin.com/pulse/rise-neo-integrator-avi-zurlo-uiwwe/）。这种模式试图通过将专用机器人单元部署到商业生产中，利用人在回路中监督来管理运营故障，从而绕过数据收集瓶颈。其核心论点依赖于一个未经证实的飞轮：生产遥测数据将产生训练多任务能力所需的新颖性。Standard Bots的Evan Beard（来源：https://www.notboring.co/p/robot-steps）对此进行了详细阐述。Kyle Vedder（来源：https://vedder.io/misc/novelty_pump.html）则反驳了“先部署”的观点，认为愿意为早期部署付费的环境自然是低方差的，从而造成了“新颖性泵”的约束。 > 我们通过一个结合了**经验规模法则**和**数据捕获的单位经济学**的中立框架来分析这场辩论，精确找出哪种分配策略能在每美元成本下产生最高的模型能力。 物理AI中的数据操作跨越三种模态，每种模态都由成本和信息密度之间的权衡定义： - **观测性数据**：低成本、广范围、缺失动作的语料库（例如，自我中心和外向中心视频）。这种模态扩展了表征的支持范围，但缺乏直接的动作监督。 - **干预性数据**：高成本、窄范围、动作密集的演示（例如，遥操作）。这种模态映射了显式的状态-动作轨迹，但其规模与人类劳动呈线性增长。 - **部署数据**：由生产系统产生的内源性遥测数据，通常以亏损状态运行。这种模态是未经过滤的，并且采样的是由商业运营而非算法设计决定的环境分布。 数据最大化常常会引入低熵噪声，从而降低训练效率。正如语言建模中的C4数据集（来源：https://www.tensorflow.org/datasets/catalog/c4）所证明的那样，*子集剔除带来了模型改进*。值得注意的是，在固定预算内，通过过滤样板文本和近似重复内容来最大化不同token的覆盖范围。 作为利益相关者，我们必须提出以下问题：每美元在每种数据类型中能买到什么？新信息来自哪里？部署——我们付费收集的数据——能否扩大我们可以部署的任务范围，还是会很快耗尽？ **评估一个数据管道是一个资本分配问题**：平衡数据的边际成本与新颖信息以及提升模型泛化能力之间的关系。 规模法则文献回答了关于语言模型的这些问题。一个数据集的重要性不仅仅在于它的大小：还在于它包含多少个不同的样本，混合的多样性如何，每个样本重复多少次，以及新数据与现有数据的接近程度。 *是的，遵循幂律且收益递减，直至一个下限。*测试损失在双对数坐标系中，相对于数据量、模型大小和计算量呈直线下降（Kaplan 2020（来源：https://arxiv.org/abs/2001.08361））。在联合缩放公式（Hoffmann 2022（来源：https://arxiv.org/abs/2203.15556））中，损失建模为： \\\(L(N,D)=E+A N^{-\alpha}+B D^{-\beta} \\\) 函数形式是稳定的，而数值仍为近似值（Besiroglu 2024（来源：https://arxiv.org/abs/2404.10102））。在计算最优分配下，两个可约项按数据速率衰减，并坍缩为一维包络线， \\\(L^{*}(D)=E+\tilde B D^{-\beta} \\\) 常数 **E** 代表模型的不可约预测不确定性。 *是的，独立于数据集量。*一个多样化的数据混合会产生两个同时发生的效应：它通过跨域迁移和扩展的流形覆盖降低了渐近误差下限，并增加了数据集的内在维度（*d_int*）。在分辨率有限的情况下，对于平滑目标，*β ≈ 4/d_int*，其中*d_int*是数据流形的内在维度（Sharma & Kaplan 2020（来源：https://arxiv.org/abs/2004.10802）；Bahri 2021（来源：https://arxiv.org/abs/2102.06701））。 > 因为`β`是维度的反函数，将任务的内在维度减半大约会使缩放指数翻倍：损失曲线下降得更快。但这是以收敛到一个次优的、无法实现泛化的最优点为代价的。为了最大化泛化能力，预训练分布必须有意识地避免人为的低内在维度。 数据混合法则（Ye et al. 2024（来源：https://arxiv.org/abs/2403.16952））将混合的损失分解为正交的每个域幂律和交叉耦合项，这些项决定了是正向迁移还是负向干扰。 重复提供的边际效用大约到四个epoch，与新鲜token的效率相当；超过这个阈值，效用会迅速衰减，最终降低能力。Muennighoff等人（2023）（来源：https://arxiv.org/abs/2305.16264）拟合了半衰期为*R* ≈ 151（来源：https://praxiscurrents.substack.com/p/moneyball-for-physical-ai#footnote-1）的指数饱和：四次遍历造成可忽略的损失，而十六次遍历则定义了严格的收益递减区间，此时额外的计算产生的信息增益为零。此外，过度索引一个狭窄的数据子集会导致测试损失出现局部的双重下降异常，并从根本上破坏控制上下文学习的电路机制，特别是归纳头和复制头（Hernandez et al. 2022（来源：https://arxiv.org/abs/2205.10487））。将一个语料库中仅0.1%的内容重复100次，就会使一个8亿参数模型的性能坍缩到一个4亿参数基线的水平，这表明即使是微小的分布冗余也会造成巨大的资本损失。 [图片](https://substackcdn.com/image/fetch/$s_!KxsU!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fdaaee104-cce8-4ebe-8c5a-9146f9139cc4_902x876.png) LLM（42亿参数）在重复数据上缩放时的损失，导致性能比预期更差（Muenninghoff et al 2023（来源：https://arxiv.org/pdf/2305.16264）） 近似重复存在于一个由精确重复和完全新颖样本界定的效用连续体上。移除这些冗余可以提高模型泛化能力，同时优化不同流形的token预算。Lee等人（2021）（来源：https://arxiv.org/abs/2107.06499）发现，C4语料库中个别句子出现超过60,000次。大规模语料库中的冗余需要系统性的去重，以减轻逐字记忆，同时加快收敛速度。从机制上讲，一个小的扰动迫使模型在有限的邻域（*x* 和 *x + ε*）内映射相同目标，起到隐式一致性正则化的作用。因此，近似重复的效用非常低。在中等*ε*时，正则化是有用的，随着*ε*扩大，它变成了一个不同的数据点。***在狭窄邻域内密集采样会迅速饱和局部容量，并损害模型性能。*** 罕见的、分布外（OOD）的事件会产生超大的边际效用，因为在规模限制下，模型性能受限于失败尾部。现实世界的物理分布是重尾的；宏观能力的缩放源于掌握一个齐普夫分布的次级技能子集，这些技能根据频率顺序获取（Michaud et al., 2023（来源：https://arxiv.org/abs/2310.12112））。实现前沿精度需要拟合这些稀有的子群体，它们共同构成了总操作密度的大部分（Feldman, 2020（来源：https://arxiv.org/abs/1906.11304））。因此，通过过滤高难度、低频次的样本来优化语料库，可以完全绕过标准的幂律缩放约束（Sorscher et al., 2022（来源：https://arxiv.org/abs/2206.14486））。由于这些边缘案例根植于现实世界的随机性，很难通过合成生成或结构化的场景设置来复现。然而，随着模型已知分布范围的扩大，剩余的新颖变体会呈指数级减少，导致发现它们的边际成本急剧增加。 **总结**： - 更多数据能带来幂律下降，直至一个下限。 - 多样性会以速率为代价降低下限。 - 重复几乎买不到什么，最终会损害性能。 - 近似重复数据是所有数据中最弱的，除非是有意的小扰动。 - 长尾罕见事件信息量巨大，但发现它们的成本也越来越高。 在语言建模中，计算是绑定约束，而数据是丰富且低成本的。相反，在机器人技术中，有用的数据严格受限于数据获取成本。因此，目标函数从最大化计算效率转变为最大化每美元的边际损失减少。 全局能力目标被建模为在离散任务簇*j*上的凸组合，并分配了先验权重（*π_j*）。每个独立簇遵循由环境参数决定的不同缩放包络线： \\\(L_j=A_j(phi)+B_j(phi)\,D_j^{-\beta_j} \\\) 一个下限 *A_j(phi)* 作用于一个数据可约项，其指数 *β_j ≈ 4/d_j* 由簇的内在维度（*d_j*）决定。 为了优化有限的资本配置，**资源支出必须使所有可用采集和过滤渠道的每美元边际价值相等。** 1. **干预通道**：主动演示数据因其直接的动作监督而具有溢价。它会触发快速的容量饱和，其经济效用主要通过跨任务技能迁移实现。动作通道*i*以价格*c_i*购买定向覆盖率*D_j* = Σ_i w_ij g_i(n_i)，其中*g_i*会饱和，*w_ij*表示从通道*i*到任务簇*j*的跨域迁移投影。将该回报相对于资本支出进行微分，可以绘制出每美元的边际效用，从而优化资源分配。 \\\(frac{mathrm{MV}_i}{$}=frac1{c_i}sum_j pi_j\,beta_j\,B_j(phi),w_{ij},g_i'(n_i),D_j^{-(beta_j+1)}\) 1. **观测通道**：被动观测数据具有不同的价格。由于缺少动作标签，其经济效用通过优化底层表示空间来实现。它同时抑制了偶然性下限并正则化了缩放系数。 \\\(frac{mathrm{MV}_{ ext{obs}}}{$} = frac1{c_{ ext{obs}}}sum_j pi_jBig[-frac{partial A_j}{partial phi}-frac{partial B_j}{partial phi},D_j^{-beta_j}Big]frac{partial phi}{partial n_{ ext{obs}}}\) **下限取决于传感器。**偶然性项只有在特定机器人配置所观察到的信息状态相对时才是不可约的。我们通过条件熵形式化任务簇*j*在传感配置*φ*下的下限：*A_j(phi)* = E [H[a | s_phi]]。这个总风险分解为一个绝对物理极限和一个传感器可弥补的裕度： \\\( A_j(phi)=underbrace{A_j^{min}}_{ ext{无传感器可移除}}+underbrace{igl(A_j(phi)-A_j^{min}igr)}_{ ext{更好的传感移除它}},\quad A_j^{min}=inf_phi A_j(phi)\) **操作含义**：低分辨率传感器无法解析的环境方差，对该模型而言表现为随机的偶然性噪声，而更高保真度的传感器则将其转化为可预测的认知误差。动作数据驱动数据可约项趋近于*A_j(phi)*；而更好的传感则降低了*A_j(phi)*本身。 > 只有达到盈亏平衡损失阈值*A_j(phi)* < *L_neutral*，任务才可行。如果最优传感导致*A_j^{min}* ≥ *L_neutral*，那么扩展数据量在数学上是徒劳的。系统需要硬件重新配置或一个完全不同的操作任务。 生产遥测数据就像一口遵循陡峭下降曲线的油井：初始操作会产生高熵的故障模式，随着异常被解决，这些模式会迅速衰减为低效用、近似重复的区域。这种局部分布采样。