标签
本文提出了两种混合持续学习方法——回放增强弹性权重巩固与约束引导知识蒸馏——用于调整预训练语音模型,以识别低资源澳大利亚土著语言,同时缓解灾难性遗忘。
本文研究了低资源自动语音识别(ASR)中跨语言迁移的问题,针对瓦尔皮里语提出了一种结合声学与语言特征的相似度框架,以选择最优源语言。实验表明,像阿萨姆语和印地语这样声学相似的语言能显著降低词错误率和字符错误率。
本文确定了两种结构机制,导致多任务高斯过程在贝叶斯优化迁移学习中错误估计跨任务相关性,即使对于仿射相关的任务也是如此。作者提出了三种保守的补救措施来缓解这些问题。
本文从范畴论视角深入探讨迁移学习,提出深度流形理论,认为神经网络通过无属性数值计算学习关系结构,从而实现跨领域迁移,并解释了分类的内在逻辑。
StepFM是一个基础模型,仅使用计步器数据进行广谱健康预测,为高频传感器模型提供了保护隐私且可扩展的替代方案。
LEMUR 2引入了一个大规模数据集,包含超过14,000种神经网络架构和750,000条训练记录,涵盖多模态任务,支持NAS、AutoML和部署分析。
本文提出一种源引导协议,其中LLM利用更强的同族源模型为弱目标模型生成候选修改方案,在CIFAR-10和SVHN基准测试上实现了显著的精度提升,同时解耦了迁移效应与适应效应。
本研究探讨了从僧伽罗语到迪维希语的跨语言迁移学习在自动语音识别中的应用,与仅使用迪维希语的基线相比,词错误率显著降低。
本文探讨了在使用冻结的预训练语言模型骨干时,显式域适应方法是否对情感迁移有益,发现其有效性取决于骨干是否已经拥有目标域知识。
本研究评估了九种心电图基础模型在Brugada综合征检测中的表现,发现预训练提供了优化稳定性,但未提供可迁移的临床知识,这对大规模预训练对罕见疾病有益这一假设提出了挑战。
提出Trans-Ising,一种针对高维Ising模型的迁移学习方法,该方法利用基于损失的源筛选规则和两阶段估计,相比于仅使用目标数据和朴素池化方法,提高了估计精度。
提出一种基于AdaBoost的文本提示提升(TPB)框架,通过顺序集成弱文本提示分类器来改进视觉-语言模型的少样本分类性能,并在跨模型迁移中保持增益。
损失平滑在自适应过程中在源目标和目标目标之间进行插值,在保留有用特征的同时实现专门化。在监督偏移、强化学习和语言模型微调中的实验显示一致的改进。
Rank-Then-Act (RTA) 是一个从专家视频演示中学习控制策略的框架,无需环境奖励。它使用视觉语言模型作为基于进度的序数评分器,并结合基于相关性的奖励。该方法实现了稳定的跨任务迁移,并在离散和连续控制基准上优于以往方法。
Ethan Glyman 宣布,他的团队开发了一种方法,能够以极低的成本在开源模型之间迁移微调结果,使得微调更加经济合理。
HASTE 提出了一种面向机器学习工程的分层多智能体系统,将跨竞赛知识组织为三个层级,在 MLE-Bench Lite 上实现了 77.3% 的获奖率,同时将计算量减少 52%,并证明了结构化知识迁移优于扁平记忆方法。
本文提出了一种基于音调条件的课程学习框架,用于低资源班图语语音识别,结合了混合难度评分、门控适配器和分阶段课程训练。对六种南部班图语的评估显示,W2V-BERT在恩古尼语上优于Whisper,而Whisper在索托-茨瓦纳语上表现更好。
本文提出了一种使用CNN和ResNet架构并结合迁移学习的自动化深度学习方法,用于MRI图像中的脑肿瘤检测,准确率高达97%。
本文探索了使用ReLU激活统计作为记忆化指标,在有限校准数据下微调sEMG解码器时检测过拟合,而无需验证集。
本文对大语言模型中基于探针的不确定性估计进行了分解研究,表明原始隐藏状态和注意力特征在域内表现良好,但结构化特征在分布偏移下更为鲁棒,并提供了预训练探针作为现成基线。