编码智能体的未来是JEPA吗?[D]
摘要
作者讨论了将Yann LeCun的JEPA(联合嵌入预测架构)应用于编码智能体,提出不应将代码视为文本,而应让智能体学习紧凑的状态表示并预测未来状态,可能比当前基于LLM的方法实现数量级的效率提升。
我最近听Yann LeCun解释了JEPA(联合嵌入预测架构),并开始思考将其用于编码智能体。如今大多数编码智能体的工作方式是将大量文本扔给前沿LLM,让其生成下一个补丁。这虽然出奇有用,但在架构上感觉不对劲。一个仓库不仅仅是标记的集合。一个失败的测试不仅仅是文本。软件具有状态。编辑是一种动作。一个好的智能体应该理解当前状态,想象可能的后续状态,选择最有前景的动作,验证它,并从发生的结果中学习。JEPA并不试图预测每一个原始细节。它学习有用的表示,然后预测这些表示如何变化。最好的比喻是视频。生成模型可以尝试预测下一帧的每一个像素。但大多数像素并不是关键。关键是汽车从左向右移动,一个人伸手去拿杯子,一个球即将落地。智能不是记住每一个像素,而是构建一个关于重要内容的紧凑模型,然后预测接下来会发生什么。代码也存在同样的问题。如今的LLM智能体常常盯着仓库的像素。它读取文件、注释、测试、堆栈跟踪、包元数据、文档,然后输出补丁标记。JEPA风格的版本不应需要重新读取和重新生成一切。它应将仓库编码为紧凑状态:文件、导入、符号、测试、失败、约定、包布局、用户意图。然后它应问:如果我添加这个测试、更改这个边界条件、更新这个导出、或修改这个函数签名,我期望下一个仓库状态是什么?如果可行,效率差异不仅仅是一个小优化,也不是推理成本降低20%。它可能便宜几个数量级,因为运行时循环不再是巨大的上下文输入、巨大的补丁输出。智能体可以本地运行。它可以保持结构化记忆。它可以在执行昂贵的验证之前对动作进行排名。它可以从每个失败的候选中学习。它可以不再将软件工程视为文本补全,而是将其视为状态转换规划。其他人怎么看?JEPA是codex或claude的未来吗?
相似文章
我构建了Micro-JEPA:一个轻量级的JEPA(联合嵌入预测架构)Python实现
Micro-JEPA 是一个轻量级的JEPA(联合嵌入预测架构)Python实现,使智能体能够学习环境表征、在潜在空间中预测未来状态,并规划动作以避开障碍物。
注解版JEPA
联合嵌入预测架构(JEPA)用于自监督学习的逐步注解实现与解释,涵盖I-JEPA、V-JEPA和LeJEPA。
@AbdelStark: 是时候让世界服下JEPA药丸了!awesome-jepa:一份精心整理的论文、模型、代码、数据集和学习资源列表……
一份精心整理的关于Joint Embedding Predictive Architectures(JEPA)的论文、模型、代码、数据集和学习资源列表,这是Yann LeCun提出的用于世界模型的自监督方法。
@jdegoes:所有智能体的近期未来都是编码智能体,虽然我可能错了,但我相信这个令人惊讶的事实正在…
一位思想领袖认为,所有AI智能体的近期未来都是编码智能体,它们可以通过编写代码解决通用问题。他认为TypeScript凭借其安全性、可移植性、类型安全和效率,是自定义智能体执行环境的理想语言。
无奖励的表征:JEPA对LLM微调的审计
本文对联合嵌入预测架构(JEPA)在自然语言到正则表达式任务上的LLM微调进行了审计,测试了二十二个辅助目标。结果表明,隐藏状态表征的改进与解码任务准确率之间仅存在弱耦合,没有辅助目标通过族系校正。