标签
本文评估从语言模型表示中提取的情感概念方向在不同数据划分间复现的可靠性,比较了 English、Hausa 和 Yoruba 在四种语言模型上的表现。结果发现方向一致性存在稳定的语言排序(English > Hausa > Yoruba),并表明高探针分类准确率并不意味着方向一致性;不过,文中并未将 tokenizer fertility 确立为造成这一现象的原因。
这篇来自纽约大学(NYU)与西安交通大学的研究论文表明,早期的表征漂移会形成一个低维的“支架”子空间,网络在学习后续任务时会优先复用这一子空间,说明早期经验会在神经网络适应过程中留下持久的几何印记。
ChronoSRL 为自监督强化学习的评论者网络引入了显式的时间几何,通过训练使嵌入向量之间的距离与实际抵达目标所需的时间相匹配;在七个基准测试以及模拟到真实的四足机器人运动任务上,其表现均优于对比学习和生存型强化学习基线。
本文研究利用图神经网络编码器,将传感器网络和雷达产生的异构采样信号集合映射到固定维度、采样不变的嵌入空间,并通过在合成复值射频信号上进行波形判别来进行评估。
本文评估了Jev——一个固定的通用概率决策模型——在加速度计数据上进行免训练人类活动识别的效果,发现其远低于监督模型(宏平均F1为0.038–0.118,对比0.686–0.907),并表明单纯增加更多数值传感器特征实际上会降低性能,除非与确定性语义表示相结合。
本文介绍了Staged Depth Training(SDT),这是一种针对Physics-Informed Neural Networks(PINNs)的表征课程,通过显式学习和迁移隐藏表征来提高训练性能。
本文通过几何条件分析基于重建的无监督学习的失败,并提出新方法如Dynamic Push and Pull来增强异常检测性能。
该论文介绍了CARE,这是一个针对扩散模型的条件感知表示正则化框架,通过基于条件相似性动态调节特征分布来提高样本质量和训练效率。在经验上,它在类别到图像和文本到图像任务中显著降低了FID并加快了收敛速度。
本文挑战了对Platonic Representation Hypothesis的解释,通过区分关系结构和度量几何,表明关系收敛是稳健的,而度量几何收敛在各种模型校准后较弱。
本文表明,为重建而微调自编码器会降低有效维度,使得标准速度预测在扩散模型中效率低下,并提出使用x0预测来聚焦于信号流形,从而持续提升文本到图像生成性能。
LE4Mob 是一个归纳式、距离感知的通用位置嵌入框架,用于增强人类移动性建模中的任务,如下一位置预测和通勤流量生成。
MIRCID是一个框架,通过比较基因表达与推断的转录因子活性及miRNA表达,推断核心miRNAs,以增强药物作用机制建模,从而在通路分类和基于相似性的检索方面取得改进。
本文指出了MCR²在分布外泛化方面的两个局限性,表明其在分布漂移下可能会失效,并且纳入不变性原则并不能消除这种失效。
Tactile-JEPA是一种用于分布式触觉传感器的自监督预训练方法,它利用空间拓扑学习表示,提升了机器人学中力估计和方向任务的性能,优于先前的最先进方法。
本文介绍了THAW-VLA,一种将世界模型表示蒸馏到视觉-语言-动作模型中的方法,用于机器人学,增强了在模拟和真实硬件上的鲁棒性和性能,而不会增加推理开销。
本文探讨了神经网络中的“Grokking”(延迟泛化)现象,并引入了几何维度正则化(GeomDR)方法来控制表征几何结构,从而将“Grokking”现象的出现速度最高提升52倍。
本文介绍了Lens,这是一个用于多模态表示学习的无训练框架,它解决了语义视角不对齐的问题,在MMEB数据集上取得了显著的性能提升,无需参数更新。
本文提出了一种新的统一预训练框架,用于医学代码序列,能够捕获层次结构和复杂交互,并在临床事件预测和阿尔茨海默病的药物重定位案例研究中展示了优越的性能。
FLAT引入了一种共享的连续令牌序列,用于图像和文本,从而为生成和检索等多模态任务提供灵活长度的表示,并在基准测试中表现出色。