标签
分析了连续思维机(CTM)在ImageNet图像分类上的内部动力学,发现其思维轨迹是移动吸引不动点的曲线,注意力调度在图像间基本通用,表明CTM已找到一种处理所有ImageNet图像的统一策略。
该论文提出 SW-KAN,一种基于 Stieltjes-Wigert q-正交多项式的 Kolmogorov-Arnold 网络,通过指数-tanh 域映射和 O(N) 三递推计算,在图像分类与函数逼近任务中实现更优的精度-效率权衡。
PaLoRA 提出了一种面向 LoRA 的持续学习的渐进式低秩自适应方法,推导出一种最优的自适应渐进律,使梯度步长与累积知识的有效秩成比例缩放。该方法结合了自适应 SVD 截断、零空间梯度投影和秩感知渐进机制,在多个基准上取得一致提升,包括在 50 任务 ImageNet-A 和 ImageNet-R 基准上将准确率提升 4%。
PSRben 在 Hugging Face 上发布了论文《VisionHOPE:作为自修改学习系统的视觉骨干》的官方 VisionHOPE-T/S/B 视觉骨干预训练权重,涵盖 ImageNet-1K 图像分类、COCO 目标检测与分割,以及 ADE20K 语义分割任务。
IntBMoE是一种新颖的混合专家方法,通过区块级条件和稀疏执行,解耦参与、执行和具体化成本,在图像分类、语言建模和推荐系统方面展现出改进,并在AMap的生成式推荐系统中实现了实际部署。
ALPINE 介绍了一种超轻量级的空间关系架构,用于小样本图像分类,与基线模型如 Prototypical Networks 和 MAML 相比,它用更少的参数实现了精度提升,收敛更快,鲁棒性更好。
本文提出自适应互惠知识蒸馏(AR-KD),这是一种新方法,通过关系对齐简化教师模型的输出分布,从而改善从教师到学生的知识传递,在CIFAR-100和ImageNet-1k数据集上实现了高达7.13%的准确率提升。
本文介绍了TAPe+MLv3,一种紧凑的计算机视觉系统,它使用结构化表示进行多任务学习,在COCO等基准测试上取得了具有竞争力的性能,且参数少于100,000。
本文提出了CRAD,一种用于去中心化联邦学习的基于类别的可靠性感知蒸馏方法,以处理异构架构和非独立同分布数据,在图像分类基准测试上实现了更高的准确率。
本文提出FedCurv-DR,一种轻量级的联邦持续学习方法,旨在减少遗忘并平衡性能、公平性和能效,以实现文化遗产应用中的可持续AI。
The paper proposes Invertible Logits Transformation (InvLT), a post-hoc calibration method that applies a learnable scalar MLP element-wise to logits, preserving accuracy while correcting nonlinear miscalibration more flexibly than temperature scaling.
本文首次系统性地研究了未见亚型偏移下的校准问题,表明模型在已知粗粒度类别内的新亚型上会变得过度自信,并主张亚型鲁棒性应通过校准指标而非仅凭准确性来评估。
本文评估了CNN在JONES-19文化设计数据集上的预训练策略,发现在结构化设计数据上,使用多裁剪采样从头学习可以达到与ImageNet预训练相当的效果,这表明在专门的设计领域中,较小且精心整理的数据集可能比大规模数据收集更为有效。
SechKAN 是一种新颖的 Kolmogorov-Arnold 网络架构,使用双曲正割函数作为基函数,在函数拟合、偏微分方程问题和图像分类任务中取得了具有竞争力的性能,同时保持了与多层感知机相当的参数效率。
本文提出了一种新型并行量子卷积神经网络(QCNN)架构,能够高效地经典模拟大规模QCNN,并在128量子比特模型上展示了MNIST二分类的训练过程。
提出了一种基于混合专家模型的量子启发式经典-量子混合框架用于图像分类,在MNIST和Fashion-MNIST数据集上展示了性能提升和错误率降低。
本文从理论和实证角度研究了图像分类中反事实公平(CF)与群体公平(GF)之间的关系,引入了新的CF评估数据集(CelebA-CF 和 LFW-CF)。研究发现,由于潜在属性与敏感属性相关,CF并不蕴含图像的GF,并提出了反事实知识蒸馏(CKD)以缓解这一问题。
本文介绍了一项实证研究,比较不同神经架构(MLPs、CNNs、RNNs、预训练transformer)在图像和文本领域的时间分布偏移下的性能退化,发现利用局部特征的模型退化最快,而预训练编码器的漂移较为缓慢。
本文提出了一种基于可扩展反向传播的算法,用于训练在热力学Ising硬件上运行的深度卷积网络,在CIFAR-10上达到94.9%的准确率,在CIFAR-100上达到76.0%的准确率,同时分析了推理成本与准确率之间的权衡。