Physis-Lang:作为视频世界模型物理表征的自进化语言
摘要
论文提出 Physis-Lang,这是一个自进化框架,将物理语言作为跨数据整理、训练与视频生成的共享、可优化表征,同时配套推出 PhysCapBench 基准与用于打磨物理描述文本的 agentic loop(智能体循环)。借助开源的 Cosmos-Nano 骨干模型,增强后的模型在物理合理性基准上超越了闭源的 Veo 3.1。
查看缓存全文
缓存时间: 2026/10/01 04:21
论文页面 - Physis-Lang:作为视频世界模型物理表征的自进化语言
Source: https://huggingface.co/papers/2609.40358 Authors:
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
Abstract
视频世界模型被期望预测物理世界如何演化,但它们常常生成视觉上看似合理、却违反基本物理原理的视频。现有方法通常假设自然语言不足以表征可靠生成所需的物理知识,因此引入额外的视觉、隐层、数值或基于规划的信号。我们重新审视这一假设,并提出 Physis-Lang——一个自进化框架,将物理语言作为数据策展、模型训练和视频生成中共享且可优化的表征。Physis-Lang 通过语言来描述物理过程的相关实体、成因、相互作用、支配原理、时间演化及其影响。为了改进这一表征,我们构建了 PhysCapBench,将物理过程分解为原子断言,并使用召回率和精确率来评估描述(caption)。一个智能体循环(agentic loop)迭代地分析断言级错误,并优化生成物理描述所用的指令。Physis-Lang 进一步将模型缺陷转化为文本描述,并利用语言引导的检索来识别视觉上多样、且覆盖缺失物理过程的视频。在 Wan 和 Cosmos 骨干模型上的四个常用物理视频基准上的实验表明,物理合理性得到了一致的提升。值得注意的是,从开源的 Cosmos3-Nano 骨干模型出发,我们经 Physis-Lang 增强的模型超越了领先的专有模型 Veo3.1。
View arXiv page (https://arxiv.org/abs/2609.40358)View PDF (https://arxiv.org/pdf/2609.40358)Project page (https://physis-intelligence.github.io/physis-lang-web/)Add to collection (https://huggingface.co/login?next=%2Fpapers%2F2609.40358)
Models citing this paper0
No model linking this paper
Cite arxiv.org/abs/2609.40358 in a model README.md to link it from this page.
Datasets citing this paper0
No dataset linking this paper
Cite arxiv.org/abs/2609.40358 in a dataset README.md to link it from this page.
Spaces citing this paper0
No Space linking this paper
Cite arxiv.org/abs/2609.40358 in a Space README.md to link it from this page.
Collections including this paper0
No Collection including this paper
Add this paper to acollection (https://huggingface.co/new-collection)to link it from this page.
相似文章
PhiZero:一个围绕物理语言构建的世界模型
PhiZero是一个物理世界模型,它从视频中学习一种称为“物理语言”的紧凑离散表示,并在渲染未来视频之前用它来推理世界状态的转换,从而在生成和理解任务中提高物理一致性。
PhysBrain 1.5:从视觉-语言模型到物理基础模型
PhysBrain 1.5 是一个统一模型,通过自回归训练集成物理环境理解、动作生成和未来状态预测,在28个具身基准测试中实现了最先进的开源性能。
EgoPhys:从第一人称视频学习可变形物体的通用物理模型
EgoPhys 提出一个框架,利用通用先验和紧凑码本从第一人称 RGB 视频构建可变形物理数字孪生,无需针对每个弹簧进行优化即可实现对新物体的零样本泛化。该系统在真实机器人上进行了演示,表明第一人称人类玩耍视频可以作为可变形物体规划的内部世界表征。
从被动视频到可编辑体验:面向具身智能的物理接地体验合成
介绍Pegasus,一种低资源框架,利用基于图的任务表示、分层可供性潜在空间和闭环物理验证,将人类示范视频转换为机器人可执行数据,旨在将硬件数据收集转变为可规模化的知识迁移。
PhysBrain 1.0 技术报告
PhysBrain 1.0 是一份技术报告,提出了一种利用人类自我中心视频为视觉-语言-动作模型生成物理常识监督的方法,在ERQA、PhysBench、SimplerEnv-WidowX、LIBERO和RoboCasa等具身控制基准上取得了最先进的结果。