一个未来,每个机器人:去中心化JEPA下的标签高效集体状态预测
摘要
本文介绍了集体状态JEPA(CS-JEPA),这是一种循环联合嵌入预测架构,使群体中的每个机器人能够从局部观测和受限消息中预测相同的未来集体状态。该方法展示了在预测误差和机器人间一致性方面的标签高效改进,并提供了与规划相关的价值估计。
查看缓存全文
缓存时间: 2026/08/03 09:31
论文页面 - 一个未来,每个机器人:基于去中心化JEPA的标签高效集体状态预测
来源:https://huggingface.co/papers/2607.28443
摘要
群体中的每个机器人能否仅依靠局部观测和带宽受限的消息预测相同的未来集体状态?我们将此问题表述为去中心化共享状态预测,并引入集体状态JEPA(CS-JEPA),一种循环联合嵌入预测架构,其在每个机器人上的输出表示一个共同的未来令牌场。在部署时,每个机器人使用16帧局部历史和每条有向边上的一条64浮点循环消息;没有全局池化、目标编码器、回合时钟或记录的未来动作。在无下游集体标签的预训练之后,冻结表示通过岭回归探针进行评估,这些探针在6、12或24个全局标记的回合上拟合。与采用相同接收器锚点和部署容量、但多出9,607个仅训练参数的原始未来重建相比,一项前瞻性注册的五种子后续实验在分布内、环、互kNN和未见规模(最多108个机器人)系列中改善了预测误差和机器人间一致性标签预算AUC。所有效应在5/5个外部种子中均有利于CS-JEPA。在一项独立的封存八种子后续实验中,匹配的动作条件预测器在生成接收器局部预测表示之前接收每个候选四步计划。CS-JEPA将分支值MSE降低了45.5%,并将上下文内候选分数Pearson相关性提高了0.1291,两种效应在8/8个种子中均有利,包括未见N=32。这些结果支持共同未来JEPA目标作为去中心化群体预测在拓扑和规模变化下的标签高效原语,并提供了规划相关价值估计的额外证据。
查看 arXiv 页面 (https://arxiv.org/abs/2607.28443) 查看 PDF (https://arxiv.org/pdf/2607.28443) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.28443)
在您的agent中获取此论文:
hf papers read 2607\.28443
还没有最新的CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型 0
没有模型链接此论文
在模型 README.md 中引用 arxiv.org/abs/2607.28443 即可从此页面链接到它。
引用此论文的数据集 0
没有数据集链接此论文
在数据集 README.md 中引用 arxiv.org/abs/2607.28443 即可从此页面链接到它。
引用此论文的Space 0
没有Space链接此论文
在Space README.md 中引用 arxiv.org/abs/2607.28443 即可从此页面链接到它。
包含此论文的收藏 0
没有包含此论文的收藏
将此论文添加到收藏 (https://huggingface.co/new-collection) 以从此页面链接到它。
相似文章
编码智能体的未来是JEPA吗?[D]
作者讨论了将Yann LeCun的JEPA(联合嵌入预测架构)应用于编码智能体,提出不应将代码视为文本,而应让智能体学习紧凑的状态表示并预测未来状态,可能比当前基于LLM的方法实现数量级的效率提升。
你的概率JEPA实际上是一个隐马尔可夫模型:联合嵌入预测学习的状态空间解释
本文建立了概率联合嵌入预测学习(JEPA)与隐马尔可夫模型(HMM)之间的理论联系,提供了状态空间解释,并引入了马尔可夫链JEPA以增强一致性。
我构建了Micro-JEPA:一个轻量级的JEPA(联合嵌入预测架构)Python实现
Micro-JEPA 是一个轻量级的JEPA(联合嵌入预测架构)Python实现,使智能体能够学习环境表征、在潜在空间中预测未来状态,并规划动作以避开障碍物。
SJEPA:学习具有混合符号-神经预测器的优雅潜在动力学
SJEPA 引入了一种无需重建的 JEPA 框架,学习混合符号-神经潜在动力学,旨在获得最简单且充分的预测表示。实验表明,与事后拟合相比,它能发现更简单的符号动力学,并具有更低的展开误差,同时在语法错误设定下控制符号-神经分配。
面向大规模动态图的可扩展高效联合脉冲嵌入预测架构
提出 SG-JEPA,一种面向大规模动态图的联合脉冲嵌入预测架构,该架构沿时间维度将节点划分为上下文集和目标集,以学习预测性嵌入,在节点分类上取得有竞争力的性能,同时可扩展到拥有1300万条边的图,并避免了复杂的自监督机制。