基于信息瓶颈的训练自适应卷积稀疏编码用于鲁棒视觉表示
摘要
本文提出了一种训练自适应卷积稀疏编码框架,该框架利用信息瓶颈原理实现鲁棒视觉表示,在CIFAR和ImageNet数据集上,在输入扰动下取得了性能提升。
查看缓存全文
缓存时间: 2026/09/21 07:20
论文页面 - 基于信息瓶颈的训练自适应卷积稀疏编码实现鲁棒视觉表征
来源:https://huggingface.co/papers/2609.19122
摘要
视觉信号需要既紧凑又足够充分的表征,以实现稳健的下游预测。卷积稀疏编码(CSC)提供了一种明确的机制来抑制冗余分量并保留信号内容,但其稀疏性系数通常是固定且需手动选择的。我们提出了一种训练自适应卷积稀疏编码框架,用于鲁棒的视觉信号表征。具体而言,我们利用快速迭代收缩阈值算法(FISTA)展开CSC优化过程,并将稀疏性系数视为可微变量,与网络参数联合学习。从信息瓶颈的角度来看,该系数控制着信息保留与压缩之间的权衡:稀疏项促进紧凑表征,而重建项与任务损失共同保留与任务相关的信号内容。我们进一步引入了一种无标签的后训练策略,在固定主网络参数的情况下,调整针对损坏输入的压缩强度。在CIFAR和ImageNet上的实验表明,该方法在保持干净数据识别竞争力的同时,在各种输入扰动下显著提升了鲁棒性。
查看arXiv页面 (https://arxiv.org/abs/2609.19122) 查看PDF (https://arxiv.org/pdf/2609.19122) GitHub 0 (https://github.com/mason-ching/TA-CSC) 添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2609.19122)
通过您的代理获取此论文:
hf papers read 2609\.19122
没有最新CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型 0
无模型链接此论文
在模型README.md中引用arxiv.org/abs/2609.19122,以从本页面链接该模型。
引用此论文的数据集 0
无数据集链接此论文
在数据集README.md中引用arxiv.org/abs/2609.19122,以从本页面链接该数据集。
引用此论文的Space 0
无Space链接此论文
在Space README.md中引用arxiv.org/abs/2609.19122,以从本页面链接该Space。
包含此论文的收藏集 0
无收藏集包含此论文
将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从本页面链接它。
相似文章
StableVLA:迈向无需额外数据的稳健视觉-语言-动作模型
本文为视觉-语言-动作(VLA)模型引入了一种信息瓶颈适配器(IB-Adapter),旨在提升模型在未见过的视觉干扰下的鲁棒性,且无需额外数据,在极小的参数开销下实现了高达30%的性能提升。
Hoeffding Concept Bottleneck Models 及其在高空图像中的应用
介绍了Hoeffding概念瓶颈模型(HCBM),这是一种利用梯度提升树的Hoeffding函数分解对概念分数进行非线性稀疏聚合的方法,旨在提高分类和目标检测任务的可解释性和准确性,并应用于高空图像。
VisionHOPE:作为自修改学习系统的视觉骨干网络
VisionHOPE 引入了一种作为自修改学习系统运行的视觉骨干网络,其中记忆和学习规则在图像处理过程中共同演进,在 ImageNet-1K、COCO 和 ADE20K 等基准测试中取得了有竞争力的结果。
用于可扩展贝叶斯推断的压缩活跃子空间
本文介绍了压缩活跃子空间(CAS),一种通过压缩参数空间来实现大型神经网络中可扩展贝叶斯推断的方法,同时保持预测性能。
IV-CoT: 隐式视觉思维链用于结构感知的文本到图像生成
IV-CoT 将视觉条件分解为结构和语义级联,以改进结构感知的图像生成,使用仅训练阶段的草图监督来指导结构查询。在 GenEval 和 T2I-CompBench 上达到了最先进的结果。