我构建了Micro-JEPA:一个轻量级的JEPA(联合嵌入预测架构)Python实现
摘要
Micro-JEPA 是一个轻量级的JEPA(联合嵌入预测架构)Python实现,使智能体能够学习环境表征、在潜在空间中预测未来状态,并规划动作以避开障碍物。
我一直对Yann LeCun的世界模型和自主智能体的愿景深感兴趣,因此决定从零开始构建一个最小、轻量级的JEPA(联合嵌入预测架构)实现,我将其命名为Micro-JEPA。在该项目中,智能体学习环境表征,利用所学的世界模型在潜在空间中预测未来状态,并使用代价/能量函数规划其朝向目标的步骤,同时主动避开动态或静态障碍物。有一个演示视频位于README GitHub仓库:https://github.com/Jacopos311/Micro\_JEPA
相似文章
GitHub - keon/jepa: 实现联合嵌入预测架构(JEPA)的极简版本
一个 GitHub 仓库,提供 JEPA 系列模型(I-JEPA、V-JEPA、V-JEPA 2、C-JEPA)的极简、独立 PyTorch 重新实现,供教育用途,包含教程和可视化工具。
@AbdelStark: 是时候让世界服下JEPA药丸了!awesome-jepa:一份精心整理的论文、模型、代码、数据集和学习资源列表……
一份精心整理的关于Joint Embedding Predictive Architectures(JEPA)的论文、模型、代码、数据集和学习资源列表,这是Yann LeCun提出的用于世界模型的自监督方法。
编码智能体的未来是JEPA吗?[D]
作者讨论了将Yann LeCun的JEPA(联合嵌入预测架构)应用于编码智能体,提出不应将代码视为文本,而应让智能体学习紧凑的状态表示并预测未来状态,可能比当前基于LLM的方法实现数量级的效率提升。
DVD-JEPA:一个开源、完全可复现的JEPA世界模型 [P]
DVD-JEPA 是一个开源、极简的 JEPA 世界模型,它通过预测未来嵌入而非像素来从视频中学习表示。它使用弹跳的 DVD 标志来演示位置恢复、梦境生成和异常检测,所有这些都在浏览器中运行。
@iScienceLuvr:学习稀疏潜在预测基础模型用于多模态神经影像 本文介绍了Neuro-JEPA,一个基…
本文介绍了Neuro-JEPA,一个基础模型,它使用潜在预测目标和混合专家架构来编码跨T1w、T2w和FLAIR序列的脑部MRI扫描,并在包含155万次扫描的大型数据集上进行了预训练。