基于信息瓶颈的训练自适应卷积稀疏编码用于鲁棒视觉表示

Hugging Face Daily Papers 论文

摘要

本文提出了一种训练自适应卷积稀疏编码框架,该框架利用信息瓶颈原理实现鲁棒视觉表示,在CIFAR和ImageNet数据集上,在输入扰动下取得了性能提升。

视觉信号需要紧凑而充分的表示以实现鲁棒的下游预测。卷积稀疏编码(CSC)提供了一种显式机制来抑制冗余组件同时保留信号内容,但其稀疏系数通常是固定且手动选择的。我们提出了一种用于鲁棒视觉信号表示的训练自适应卷积稀疏编码框架。具体而言,我们使用快速迭代收缩阈值算法(FISTA)展开CSC优化,并将稀疏系数视为一个可微变量,与网络参数一起联合学习。从信息瓶颈的角度看,该系数控制了信息保留和压缩之间的权衡:稀疏项促进紧凑表示,而重构项与任务损失一起保留任务相关信号内容。我们进一步引入了一种无标签的后训练策略,在固定主网络参数的情况下,调整损坏输入的压缩强度。在CIFAR和ImageNet上的实验证明了在清洁数据上的竞争性识别以及在不同输入扰动下大大增强的鲁棒性。
查看原文
查看缓存全文

缓存时间: 2026/09/21 07:20

论文页面 - 基于信息瓶颈的训练自适应卷积稀疏编码实现鲁棒视觉表征

来源:https://huggingface.co/papers/2609.19122

摘要

视觉信号需要既紧凑又足够充分的表征,以实现稳健的下游预测。卷积稀疏编码(CSC)提供了一种明确的机制来抑制冗余分量并保留信号内容,但其稀疏性系数通常是固定且需手动选择的。我们提出了一种训练自适应卷积稀疏编码框架,用于鲁棒的视觉信号表征。具体而言,我们利用快速迭代收缩阈值算法(FISTA)展开CSC优化过程,并将稀疏性系数视为可微变量,与网络参数联合学习。从信息瓶颈的角度来看,该系数控制着信息保留与压缩之间的权衡:稀疏项促进紧凑表征,而重建项与任务损失共同保留与任务相关的信号内容。我们进一步引入了一种无标签的后训练策略,在固定主网络参数的情况下,调整针对损坏输入的压缩强度。在CIFAR和ImageNet上的实验表明,该方法在保持干净数据识别竞争力的同时,在各种输入扰动下显著提升了鲁棒性。

查看arXiv页面 (https://arxiv.org/abs/2609.19122) 查看PDF (https://arxiv.org/pdf/2609.19122) GitHub 0 (https://github.com/mason-ching/TA-CSC) 添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2609.19122)

通过您的代理获取此论文:

hf papers read 2609\.19122

没有最新CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

无模型链接此论文

在模型README.md中引用arxiv.org/abs/2609.19122,以从本页面链接该模型。

引用此论文的数据集 0

无数据集链接此论文

在数据集README.md中引用arxiv.org/abs/2609.19122,以从本页面链接该数据集。

引用此论文的Space 0

无Space链接此论文

在Space README.md中引用arxiv.org/abs/2609.19122,以从本页面链接该Space。

包含此论文的收藏集 0

无收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从本页面链接它。

相似文章

VisionHOPE:作为自修改学习系统的视觉骨干网络

Hugging Face Daily Papers

VisionHOPE 引入了一种作为自修改学习系统运行的视觉骨干网络,其中记忆和学习规则在图像处理过程中共同演进,在 ImageNet-1K、COCO 和 ADE20K 等基准测试中取得了有竞争力的结果。