@starlitmatcha：今天我读了几篇关于 Action Chunking Transformers (ACT) 和 Diffusion Policy 的论文，它们是……的实现

今天我读了几篇关于 Action Chunking Transformers (ACT) 和 Diffusion Policy 的论文，它们是生成模型理论的实现。模仿学习存在一个根本性问题：由于一次只预测一个动作，会导致误差累积和运动抖动。这些策略通过动作分块（action chunking）来解决这个问题，即一次性预测整个未来的动作序列并执行它们。

这两种方法基于相同的核心思想：动作分块。它们只是使用了不同的生成器。

1. ACT 基本上是 Conditional VAE + Transformer + action chunking，因此它可以在网络的单次前向传播中生成一整块动作序列。因此它速度更快，在廉价硬件上表现也非常出色（它是 ALOHA / SO-100 设置的首选方法）。ACT 还在推理时使用时间集成（temporal ensembling）来使运动更平滑。
2. Diffusion Policy 也使用了相同的思路，但用的是扩散模型（diffusion）而不是 VAE。它从一整块纯噪声开始，以当前观察为条件，通过迭代去噪生成一个干净的动作序列。扩散模型比 VAE 能更好地捕捉多模态分布（VAE 的样本有点模糊，扩散的样本更清晰），这使得它成为最可靠的 BC（行为克隆）方法之一。但代价是推理速度较慢，因为需要许多去噪步骤。

我们通过优化推理（Optimized Inference）来解决这个问题。生成动作块需要时间，但真实机器人以更高频率工作。因此我们将规划与执行解耦，分别为它们运行独立的进程：一个进程运行策略来生成动作块（规划器），另一个进程按所需速率（即高速）将这些动作流式传输给机器人。这样机器人就不会因等待模型思考而卡住，运动也会很平滑。

接下来我会介绍通用型机器人策略（generalist robot policies）和基础模型（foundation models）。

Khushi (@starlitmatcha): 阅读了有关生成模型的内容，以及为什么我们在机器人技术中首先需要它们。朴素的 BC（行为克隆）由于其确定性行为，无法处理多模态演示，所以显而易见的直觉是停止预测单个动作，而是学习好动作的整个分布，