标签
该论文为 Joint-Embedding Predictive Architecture 构建了一套早期训练稳定性理论,通过驱动/衰减稳定性比率将各类经验性的崩溃规避启发式方法统一起来,并预测出一条相边界,该边界已在 800 多种 Tabular-JEPA 配置上得到验证;论文同时提出了一个名为 ResidualPred 的 transformer 预测器,在表格数据与 I-JEPA 图像基准上均提升了有效秩与准确率。
这篇 Texas A&M 的论文提出了「语义可恢复性」的概念,用于解释哪些下游任务能够在同一样本自监督学习(self-supervised learning)中被保留下来,并将可恢复性与类别距离归一化方差、少样本最近质心迁移,以及 SSL 目标函数中跨视图稳定模式所张成的谱子空间联系起来。
提出软件在环重构(software-in-the-loop reconstruction)的自监督框架,从现有科学软件工作流中自动生成可执行的参考行为与验证目标,用于训练终端智能体;使用 Qwen3.8-Max 生成训练数据并对 Qwen3.8-27B 微调,使 Terminal-Bench 2 平均性能从 47.94% 提升至 53.56%。
Randal Balestrero 宣布他将在 MICCAI-FOMO26 上做主旨演讲,分享联合嵌入预测架构(Joint-Embedding Predictive Architectures, JEPA)的最新进展,以及对数据不平衡、噪声、多模态和推理等问题采取更有原则的解决方案的必要性。
PHASE 是一个面向颅内脑电(iEEG)的生理机制引导层级式基础模型。它将生理学特征作为显式学习目标,与掩码潜变量预测相结合,在五项 Omni-iEEG 临床任务上刷新了当前最优性能,并能泛化到训练中未见过的医疗机构。
JEPA-TTT 在测试时通过自监督密集重放(dense replay)对预训练 JEPA 世界模型的潜空间动力学预测器进行适应,在四个连续控制环境中,相比冻结模型,潜空间预测误差降低 83%,规划性能提升 153%,从而改善了动力学偏移下的规划表现。
本文研究使用严格滑动窗口批量从连续视频流中进行自监督学习,提出了包含95小时数据的WT++城市漫步视频数据集,并提出了StreamMAE,通过流感知正则化与运动偏置裁剪,达到与i.i.d. MAE预训练相当的性能,并随流规模扩大而正向扩展。
本文对平流感知图临近预报在分布式太阳能爬坡预测中的应用进行了控制性研究,发现准确的云运动特征与图结构同样重要,并引入了一种自监督估计器以减少预测误差。
Atelier引入了一种自监督超网络框架,该框架为CryoEM密度图生成隐式神经表示,使得局部特征提取成为可能,并提升下游注释任务的性能。
EvolvingAvatar 引入了一个因果性3D头部生成系统,该系统使用测试时训练实时适应对话上下文,在对话场景中增强运动统计。
TT-VidT 是一种新的视频预训练方法,通过解耦时间轴来高效建模运动,在以运动为中心的基准测试上实现了最先进的结果,同时降低了计算成本。
本文系统评估了EEG基础模型在MAE和JEPA框架下的掩码策略,识别了最佳配置和一种新的故障模式,以减少计算量达到与REVE相当的性能。
引入了一种物理信息自监督学习框架,用于校准和重建Multi-Wire Parallel Plate Avalanche Counters中的位置,仅使用探测器几何结构和电荷约束,消除了对标记数据或专用校准运行的需求。
本文提出了一种通用的自监督学习框架,用于解决约束组合优化问题,采用Frank-Wolfe方法处理约束条件,并在旅行商问题、最大覆盖问题和二次分配问题等任务上取得了显著的实验成果。
EMGBlend 引入了一个自监督框架,用于在异构EMG数据集上进行预训练,解决电极布局、频率范围和数据源不平衡的差异,以改进手势识别和力解码任务。
本文提出Activity Chain Encoder (ACE),一个自监督模型,能从无标签的手机位置数据中学习每日活动模式,并证明了其在识别伦敦等城市环境中差异化活动模式的有效性。
该论文评估了在运动应激与跨时段差异的真实场景下使用孪生ResNet模型进行ECG生物识别的性能,达到了顶尖性能水平。
Tactile-JEPA是一种用于分布式触觉传感器的自监督预训练方法,它利用空间拓扑学习表示,提升了机器人学中力估计和方向任务的性能,优于先前的最先进方法。
Toolformer trains language models to self-teach how to use external APIs like calculators and search engines via self-supervised learning, significantly improving zero-shot performance across tasks.
本文提出了一种新的统一预训练框架,用于医学代码序列,能够捕获层次结构和复杂交互,并在临床事件预测和阿尔茨海默病的药物重定位案例研究中展示了优越的性能。