标签
本文提出BridgeMIL,一种用于基于EEG的疾病诊断的两阶段框架,通过多实例学习将实例表示学习与受试者级监督解耦。它在三个EEG疾病数据集上取得了最先进的准确率,优于强基线方法。
本文提出CURL,一种即插即用适配器,利用估计器不确定性分配预训练LLM的语义能力,以改进异质性治疗效果(CATE)估计。它引入两种角色调节的提示,构建面向分配和异质性的表示,在四个基准上提升了十个宿主学习器的性能。
本文主张应将大型语言模型中的概念视为一个设计轴心,沿着流水线阶段和基础维度映射设计空间,并提出从事后恢复概念转向设计明确的概念表示。
本文探讨了语义关系如何编码在语言模型语义空间的几何结构中,发现非对称关系占据不同区域,且对于因果模型,词汇信息更为重要,而对于掩码和扩散模型,上下文信息更为重要。
本文报告发现:使用冻结的随机初始化CNN特征提取器的深度强化学习智能体,在没有任何稀疏性诱导目标的情况下,自发地产生极端稀疏的全连接表示,通过极少数神经元压缩任务相关信息。
IRIS是一个无需训练的框架,利用冻结的大语言模型为知识图谱中的实体构建可复用的身份表示,从而能够在不同知识图谱间实现高效的实体对齐,无需依赖配对处理。
提出时序距离JEPA(TD-JEPA),从离线轨迹中挖掘有向时序代价,以改进潜在世界模型预测控制,在机器人环境中实现了更高的成功率。
本文分析了为什么确定性JEPA风格的潜在预测适用于图像但不适用于文本,将失败归因于语言中的高条件方差,其中被屏蔽的上下文允许多个有效补全,而这些补全的表征缺乏一致的质心。
本文识别了个性化多模态大语言模型中的群体偏好坍塌问题,并提出了 PrefMoE,一种以偏好为中心的框架,该框架将个人资料信息与偏好分离,以改进个性化并减少坍塌。
LC-SEPLM 通过 LoRA 和长程残基对接触监督对 ESM2 进行适配,将结构信息融入蛋白质序列表示,在包括远程同源性识别在内的八项蛋白质层面任务上取得了显著改进。
本文提出Music-JEPA,这是一个世界模型,通过将音频视为状态、钢琴卷帘视为动作来学习钢琴声音表示。它捕捉动作与声音之间的关系,并支持如节拍跟踪和通过规划进行钢琴转录等下游任务。
提出无偏开放世界正则化(UOWReg),一种仅编码器框架,通过强制条件分布匹配来实现学习表示与敏感属性之间的统计独立性,在降低偏差的同时保持准确率。
MA-DAR是一个即插即用框架,通过将重放表示和当前表示对齐到共享流形上,并利用动态门控机制进行自适应融合,解决了基于重放的持续时序知识图谱推理中的表示冲突问题。
本文提出将调整速度作为非平稳强化学习的安全约束,从适应可行性角度定义安全性,并利用表示学习与上下文预测,在预测的适应需求超过系统可达容量时主动调节行为。
作者重新回顾了表征学习中有影响力的开源工作,列出了从MoCo v1到LeJEPA的关键论文,这些工作推动了视觉基础模型和自监督学习的发展。
本文提出Hyper-Spherical Quantization (HSQ)来解决将视觉表示离散化时的码本崩溃问题,实现了高保真重建和可扩展的码本预算,最高可达131,072,利用率达100%。
本文介绍语义场理论(SFT),这是一种用于词汇语义的计算模型,通过语义场、语境变形、交互项和能量最小化来建模意义。提供了包括高斯积闭包、用于高阶交互的莫比乌斯反演和稳定性条件在内的形式化元素。
本文提出了结构化动态模型(SDM),该模型通过自监督学习从冻结的图像特征中分离相机运动和物体运动,并在新的评估套件上优于基线方法。
本文将链式思维推理建模为切换动态系统,表明推理微调全局性地重新组织潜在策略状态,从而改善了多步推理。提出的框架结合了时间感知对比学习与离散状态发现,实验表明,微调后的模型展现出更丰富的潜在策略组织,并具有功能特化。
本文识别并攻击了图基础模型的对齐层,表明这是一个独特的攻击面,在低预算扰动下尤其脆弱,特别是对于频谱分词器,并提出基于检测的防御措施。