边界保真的骨干模型仍需在第二帧中存活

Reddit r/ArtificialInteligence 论文

摘要

本文探讨了在处理第一帧之后的后续视频帧时,保持骨干模型边界保真度的挑战。

暂无内容
查看原文

相似文章

新一帧仍可能错过下一个动作块

Reddit r/ArtificialInteligence

本文探讨了在动作块边界处对象状态的变化如何导致决策出现一个块的延迟,以及追踪物理变化、帧捕获、模型接收、块提交和首次改变动作如何能将捕获和传输延迟与已提交的决策分离开,但这仍然不能保证安全性或泛化能力。

Memorizon:让世界模型在上下文窗口之外完成训练

Hugging Face Daily Papers

Memorizon 通过相机共视关系让每个被评分的片段检索一个共享的、有界的 top-K 隐变量库,从而在流式世界模型中将长跨度监督与注意力解耦,以极低的额外开销实现超出上下文窗口的一致性重访。与滑动窗口基线相比,检索将重访一致性提升最高达 30%,且结果表明模型确实利用了检索到的隐变量。

展望未来:自回归视频生成中的未来演化建模

Hugging Face Daily Papers

本文提出了未来片段预测(Future Chunk Prediction,FCP),这是一种用于自回归视频扩散模型的辅助目标,可在不提供中间视觉上下文的情况下预测时间上相隔的片段,从而提升物理合理性并减少训练计算量。该方法无需额外的预训练视觉编码器,并启示了更具结构化的表示空间对自回归世界模型的潜在价值。