论文页面 - VisionHOPE：视觉骨干网络作为自修改学习系统

来源：https://huggingface.co/papers/2609.33325

摘要

视觉骨干网络已从具有局部聚合的卷积神经网络（CNN），演进到具有全局交互的视觉Transformer（ViT）、具有输入依赖状态转移的状态空间模型（SSM），以及在处理图像时自适应内部学习器的测试时训练（TTT）层。在这一演进过程中，视觉计算对每个输入的适应性越来越强，然而支配这种适应性的规则在很大程度上仍由训练好的骨干网络预设。我们提出VisionHOPE，这是首个被表述为自修改学习系统的通用视觉骨干网络，在其中，模型记忆的内容和学习方式在单张图像内共同演化。基于嵌套学习（NL）的自指涉构造，VisionHOPE通过五个耦合的记忆实现这种共同演化，这些记忆存储内容、生成键和值表示，并控制学习率和保留率。这些记忆随着视觉上下文在每个扫描过程中不断积累而协同演化。然而，直接将无约束的自指涉更新应用于视觉骨干网络会导致不稳定。因此，我们推导了一种稳定性匹配的步长控制方案，该方案结合了对自指涉注入的软上限以及对保留记忆转移的谱限制，并证明由此产生的记忆动力学在每个扫描过程中是非扩张的。对于二维特征图，我们通过在四个方向扫描中将块与图像行和列对齐，调整了NL的块形式化。所提出的VisionHOPE在ImageNet-1K、COCO和ADE20K上取得了有竞争力的结果，确立了自修改学习系统作为通用视觉骨干网络的实用基础。代码可在https://github.com/PSRben/VisionHOPE\获取。

查看arXiv页面 (https://arxiv.org/abs/2609.33325)查看PDF (https://arxiv.org/pdf/2609.33325)GitHub59 (https://github.com/PSRben/VisionHOPE)添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.33325)

通过您的代理获取此论文：

hf papers read 2609\.33325

没有最新CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型1

PSRben/VisionHOPE 图像分类• 大约4小时前更新 • 135 (https://huggingface.co/PSRben/VisionHOPE)

引用此论文的数据集0

无数据集链接此论文

在数据集README.md中引用arxiv.org/abs/2609.33325以从此页面链接它\。

引用此论文的Spaces0

无Space链接此论文

在Space README.md中引用arxiv.org/abs/2609.33325以从此页面链接它\。

包含此论文的收藏夹0

无收藏夹包含此论文

将此论文添加到收藏夹 (https://huggingface.co/new-collection)以从此页面链接它.