semantic-planning

字节跳动开源了 Bernini-R，一种视频扩散渲染器，结合了基于 MLLM 的语义规划器和基于 DiT 的渲染器，用于统一的视频生成和编辑，在视频编辑上达到顶尖性能。

Bernini 提出了一种统一的视频生成与编辑框架，将多模态大语言模型用于语义规划、扩散模型用于像素渲染，通过语义接口分离和增强位置编码实现最先进性能。

HiVLA 提出了一种分层视觉-语言-动作框架，通过使用扩散变换器动作专家将语义规划与运动控制解耦，从而改进机器人操作。该系统结合了用于任务分解和视觉接地的VLM规划器与使用级联交叉注意力的专用DiT动作专家，在长周期任务和细粒度操作方面尤其优于端到端基线。