标签
一项可在笔记本电脑上完成的复现实验，仅使用 COCO 人工撰写的图像描述和 1100 万参数的文本编码器，验证了 Balestriero 和 LeCun 关于“优质视图胜过下一词元预测”的主张，确认了性能排序（在与 DINOv2 的相互 10 近邻指标上，优质视图为 0.320 > 劣质视图为 0.192 > 下一词元预测为 0.148），同时指出检索性能差距较小，且存在规模限制。
一篇论文提出了一种将焦点损失与监督式对比学习相结合的统一训练目标，用于自动评估欧洲语言共同参考框架（CEFR）等级，并在句子级和文档级的单语及多语基准测试中取得了最先进的结果。
Randall Balestriero和Yann LeCun的一篇新论文提出，产生统一世界表征的关键是配对视图训练（如图文配对），而非单纯追求规模或预测下一个词——研究表明一个1.09亿参数的模型在表征对齐方面超越了720亿参数的语言模型。
一篇综述与立场论文，认为不同模态的嵌入研究正通过对比学习和 Transformer 架构走向融合，并提出一个涵盖覆盖性、可比性和组合性的框架，将变换、对齐和联合嵌入视为通向全模态统一的路径。
论文将柏拉图表征假说转化为定理，证明在多种模态上分别训练的 JEPA 会收敛到共享表征（至多相差一次旋转），并指出下一个词预测本质上是使用"劣质视图"的 JEPA——这使其在跨模态对齐上效率远低得多（优质视图所需样本少 42 倍）。
Meta-CLIP 引入了一种以元数据为条件的对比学习框架，利用 DICOM 采集字段对跨模态负样本重新加权，在 CT-RATE 和多个胸部 X 光（CXR）基准测试中的零样本疾病分类表现优于 CT-CLIP。
该论文提出一个理论框架，分析监督对比学习目标在长尾分布下是否能形成正则单纯形几何，并提出一种完全平衡的对比目标，可证明在最优时形成正则单纯形，从而在长尾识别和迁移学习任务上取得更好的性能。
论文提出 ANT-A 多标注者基准（跨7个数据集、每样本5个人工标注）以及多智能体标注框架 ANT-OR，通过从正负反馈中提炼对比决策规则优化提示，在 Fleiss kappa 一致性上显著超越基线。
一篇论文指出了现代文本嵌入模型中的一个系统性缺陷：通过线性探针可以高度准确地解码情感信息，但其余弦相似度度量却几乎无法体现这些信息。论文提出了 SISE，一种微型监督式对比学习头，可在冻结编码器的情况下修复这一问题。
TRACE是一个多模态框架，将每日临床事件（电子健康记录、胸部X光片、放射学报告、出院小结）组织为时序轨迹，用于住院患者风险预测，在MIMIC-IV、eICU和MIMIC-III队列的九个数据集-任务组合中均取得了最高的AUROC。
MIT 研究人员在《Nature Communications》上发表了一篇论文，介绍了一种多模态 AI 模型，该模型将 3D 原子结构与自然语言相结合，以更好地预测和设计晶体材料。在识别有潜力的候选材料（如固态锂离子电池电解质）方面，该模型的表现优于仅使用文本的模型。
该论文提出一个对比学习框架，将EEG信号与冻结的预训练文本编码器的嵌入空间对齐，用于解码想象言语，并在Chisco数据集上验证了其在固定意图解码、相似度检索和语义结构探针方面的能力。
CLUE提出了一种对比学习框架，用于无监督的事件类型归纳、命名与标注，通过联合嵌入表示捕捉动词语义与多义性，并用对比损失引导的聚类替代人工事件本体构建。
该论文在统一可控的基准框架下系统评估了多模态嵌入学习中的各类对比训练策略，发现大多数策略相比标准对齐基线仅有边际收益甚至带来负面影响，并提出结合难负样本挖掘、假负样本缓解与难批次构建的协同训练方案，在MMEB上以Qwen2-VL-2B平均提升6.0%。
Meta AI 推出 MetaEncoder，通过单向对比学习将预训练的 Muse-Glimmer 30B 解码器微调为能够遵循指令进行决策的编码器，并在涵盖多模态闭集与开集决策的 11 个基准、190 个任务上进行了评估。
ReCast 提出一种面向归因的步骤表示学习方法，将冻结 LLM 的隐藏状态转换为更能有效区分根因步骤的表示，并发布了 ReCast-2K 训练数据集，在四个基准上取得了最佳的 Hit@1 成绩。
该论文提出将 GUI 世界模型的预测目标从全屏像素重建转移到潜空间中的动作诱导未来信息，通过共享的多模态模型表示配合动作头与转移头，并引入动作感知对比目标来缓解身份捷径问题，相比像素空间世界模型最高实现 31.9% 和 40.6% 的成功率相对提升，并将推理延迟降低最多 98.9%。
本文提出了锚点散度（Anchor Divergences）方法，该方法利用对比学习、指数族和信息几何之间的相互作用，在固定的 CLIP 式表征上定义特定于上下文的语义几何，使相似度能够反映与任务相关的属性（例如狗的品种 vs. 背景），而非单一固定的余弦几何。检索实验表明，该方法在刻画上下文相关的语义相似度方面既有效又高效。
该论文系统研究了混合模态检索器中的模态偏好问题，发现无关文本比无关图像对检索性能的干扰更为严重（即 "Chaos in the Text" 现象），并提出了 Trident 方法，通过 Multi-Positive View InfoNCE 联合优化文本视图、图像视图和融合视图，从而缓解这一偏差。
该论文利用OperatorCLIP——一种采用CLIP风格对比对齐、并配备FiLM控制的FNO——研究文本条件化是否真的能引导神经PDE代理模型。研究发现，常量提示的对照组往往与任务文本条件化表现相当甚至更优，且单描述训练会使文本对齐变得不可辨识。