标签
CausalWAM 提出在预训练 World Action Model 的动作头中加入一条稀疏路由路径,使生成的动作仅依赖于与动作相关的潜在变量,并在无需时间独立性假设的情况下,可证明地识别出因果结构(至多重排列)。在合成数据和真实机器人上的实验表明,闭环成功效率得到提升。
LAMB 是一个面向长时程 LLM 智能体的循环框架,用于维护隐式多假设信念。该框架将记忆分解为共享的 Common 状态和加权的 Delta 分量,并在 ALFWorld、ScienceWorld 和 Crafter 上相比 PABU 取得了显著提升。
该论文研究了条件扩散模型中类几何(class geometry)对 classifier-free guidance 性能的影响,提出了一种轻量级的 Prototype Regularization 方法,在 ImageNet 上将引导 gFID 从 3.31 降至 2.28,超越了采用 DINOv3 对齐的 VA-VAE。
该论文提出了预测状态流(Predictive-State Flows,PSF),这是一种连续扩散语言模型设计,其中整流流先验生成块级预测状态,块因果解码器并行生成词元,从而显著减少扩散状态和串行深度,同时相较于 ELF-B 等模型提升了效率和生成质量。
这篇论文研究生成模型在何种条件下可以充当可编辑的模拟器,提出通过探测器解码与逆映射两种方式将模型隐状态映射到模拟器状态,并在Othello与自建的连续世界Rayworld中发现映射成功与否强烈依赖环境,即使状态始终可解码。
该论文提出将 GUI 世界模型的预测目标从全屏像素重建转移到潜空间中的动作诱导未来信息,通过共享的多模态模型表示配合动作头与转移头,并引入动作感知对比目标来缓解身份捷径问题,相比像素空间世界模型最高实现 31.9% 和 40.6% 的成功率相对提升,并将推理延迟降低最多 98.9%。
本文提出了面向控制的有向时序表示方法(DTRC),该方法在冻结的 LeWorldModel 特征之上,从离线视觉轨迹中学习有向时序拟度量,并将其作为目标相对进度信号,用于直接的目标条件策略学习,在十个视觉任务中均实现了出色的控制性能。
RoboJEPA 基于 JEPA 架构,在涵盖 12 种机器人具身的大型真实机器人数据集上训练,首次为多具身机器人世界模型建立了 scaling law:其 latent rollout 的"想象力误差"随计算量呈二阶幂律变化,并可作为真实机器人规划性能的可靠代理。该模型参数量达 8B,是迄今最大的 JEPA 预测模型,支持零样本部署为长时程规划的机器人智能体,并开源全部检查点与训练/部署代码。
本文研究临床概念在开放权重大语言模型中是否以因果调用、可定位的表征形式存在,方法是对临床病历进行字典学习,并以 ICD 计费编码作为代理标签。作者在十一个开放模型中识别出临床概念中心,证明这些中心在对抗性和对齐性提示下能驱动模型行为,展示了基于定向引导的性能提升,并通过盲法临床医生偏好测试对其进行了验证。
ATLAS 是一种针对潜在世界模型的训练目标,它通过 Wasserstein-2 传输(WEMReg)校准规划潜在变量的边缘分布,同时将编码器表征中的关系几何结构保留到规划潜在空间中。该方法在 LeWM 中实现后,在 PushT、TwoRoom 和 OGBench-Cube 基准上提升了目标达成的成功率,尤其在更高新颖性的回合中表现更为突出。
提出了 DC-SAE(解耦紧凑语义自编码器),在保持高保真重建的同时实现 32 倍空间压缩,并加速扩散模型的训练收敛,显著超越此前的高压缩分词器 SOTA——DC-AE。
本文提出Task-Conditioned Latent Alignment (TCLA),通过学习共享潜在空间来稳定脑机接口中的跨会话神经解码。在非人灵长类动物数据上评估,与现有方法相比,TCLA显示出改进的鲁棒性。
BLARM是一种前馈方法,通过混合潜在刚性运动基元从单目视频动画化3D网格,实现无需显式骨架的时序连贯动画。
本文提出意图蒸馏 (INDI),将行为意图蒸馏到视觉-语言-动作模型的动作解码器中,从而在SimplerEnv-Bridge等基准测试和现实世界任务中提高了性能。
本文介绍了“千字节模型”,一种极端压缩范式,其中神经网络权重从种子和量化潜向量重新生成,利用映射网络和分块种子基将存储减少到千字节级别。
AURORA-LM 提出了一种连续潜空间扩散语言模型,将可解码的文本表示与分布建模分离,在 OpenWebText 和 XSum 上取得了强劲性能,并扩展到 1B 参数规模。
MUGEN 提出了一个统一的运动-语言框架,避免了离散码本和迭代解码,使用带有连续潜变量槽位的单一自适应长度自编码器以及一次性生成,在 HumanML3D 和 SnapMoGen 基准上实现了高效、高质量的文本到运动与运动到文本性能。
LATO.2是一个用于三维网格生成的分解式流匹配框架,它将生成过程分解为顶点流和基于顶点的连接流,实现了最先进的几何保真度和连接质量。
识别了VAEs中后验坍塌的两个耦合原因,并引入了λ-VAE,这是一种对重新参数化步骤的修改,通过均衡各潜变量维度的方差来减少坍塌并提高信息容量。
AdaJEPA引入了一种自适应的潜在世界模型,该模型在测试期间通过闭环模型预测控制持续更新,显著提高了分布偏移下的规划成功率。