标签
本文介绍了集体状态JEPA（CS-JEPA），这是一种循环联合嵌入预测架构，使群体中的每个机器人能够从局部观测和受限消息中预测相同的未来集体状态。该方法展示了在预测误差和机器人间一致性方面的标签高效改进，并提供了与规划相关的价值估计。
本文提出了状态预测分离假说，认为在Transformer中将状态预测与令牌预测分离，能在不同规模上提升语言建模的性能和效率，实验表明该方法持续带来改进。