research-insight

文章指出，AI智能体通常是在对低维行为的隐含假设下构建的，但实际上它们运行的空间维度要高得多，从而导致意想不到的复杂性。

该推文批评标准音频VAE在所有潜在通道上使用统一的高斯先验，忽略了低频的结构性和高频的混乱性，这一问题被称为“无序信息打包”。

作者认为，将视频视为无状态输入（即没有时间上下文）是一种限制，阻碍了AI代理的发展，并提出有状态视频处理可以提升性能。

这个帖子认为，标准Transformer存在一个拓扑缺陷：一旦状态表示到达顶层，它们就无法随时间更新信念，随着层数增加导致崩溃。