标签
Meta-CLIP 引入了一种以元数据为条件的对比学习框架,利用 DICOM 采集字段对跨模态负样本重新加权,在 CT-RATE 和多个胸部 X 光(CXR)基准测试中的零样本疾病分类表现优于 CT-CLIP。
这篇论文对持续学习场景下视觉-语言模型的环境感知OOD检测进行了理论分析,提出交叉环境最大概念匹配(MCM)分数,并证明了在环境转移为正且类匹配间隔有界条件下其假阳性率不劣于标准MCM,同时区分了可检测的软OOD与不可检测的硬OOD环境。
ShadowFPT 提出了一种针对联邦提示调优(FPT)的后门攻击方法,利用冻结骨干网络的表示空间植入影子触发器,在保持提示更新隐蔽的同时将攻击成功率从 19.81% 提升至 90.36%。研究表明,仅依赖提示更新异常检测的防御措施不足以应对此类攻击。
该论文提出了SABER——一个受控基准测试,揭示了多模态检索器中普遍存在的属性-物体绑定失败问题,并证明仅在合成属性绑定文本上对基于MLLM的嵌入模型进行微调,即可在SABER上取得SOTA结果,同时在无需图像监督的情况下提升跨模态检索和图像-图像检索性能。
提出「隐喻电路」假说,解释 Vision Transformer 在缺乏直接指称证据的情况下,如何借助具体锚点概念(如 fire)间接接地抽象概念(如 angry),并利用 Transcoders 对 CLIP 和 DINO 进行电路追踪与因果干预加以验证。
本文提出了锚点散度(Anchor Divergences)方法,该方法利用对比学习、指数族和信息几何之间的相互作用,在固定的 CLIP 式表征上定义特定于上下文的语义几何,使相似度能够反映与任务相关的属性(例如狗的品种 vs. 背景),而非单一固定的余弦几何。检索实验表明,该方法在刻画上下文相关的语义相似度方面既有效又高效。
该论文系统研究了混合模态检索器中的模态偏好问题,发现无关文本比无关图像对检索性能的干扰更为严重(即 "Chaos in the Text" 现象),并提出了 Trident 方法,通过 Multi-Positive View InfoNCE 联合优化文本视图、图像视图和融合视图,从而缓解这一偏差。
SCM(Screen Memories)是一款本地优先的 macOS 应用,为任意文件夹中的每张照片和每个视频帧提供 AI 驱动的搜索,支持场景级视频搜索、OCR、基于 Whisper 的对白搜索以及可选的本地 LLM 对话——全部在设备上离线运行。该应用开源,可通过 Homebrew 安装,使用 Bun、Electron 和视觉模型(默认 CLIP)构建。
该论文利用OperatorCLIP——一种采用CLIP风格对比对齐、并配备FiLM控制的FNO——研究文本条件化是否真的能引导神经PDE代理模型。研究发现,常量提示的对照组往往与任务文本条件化表现相当甚至更优,且单描述训练会使文本对齐变得不可辨识。
本文提出UCF-Net,一种级联融合网络,结合CLIP和DINO以改善Deepfake图像检测,具有更好的跨域泛化能力。
本文研究了将CLIP适配用于区域性地理定位,发现通过利用完整的场景配置而非粗糙的地理线索,编码器适配提高了准确性。
本文提出了一种基于YOLO和CLIP的视觉-语言框架,用于对蚊虫飞行帧进行分类以检测登革热病毒,在帧级别实现了98.54%的准确率和99.91%的灵敏度,经过时间聚合后达到完整的视频级别性能。
本文提出使用现成的CLIP风格多模态编码器,结合双模态归因方法来预测视觉世界实验中的注视行为,无需微调即可成功复现一项关于人类预测加工的开创性研究。
CT-Merging 提出了一种通过从任务子空间投影器估计共识方向并分配任务级RMS系数缩放来合并LoRA适配器的方法,在DC-Merge CLIP适配器基准上取得了优越的性能。
本文提出使用单位超球面上的von Mises-Fisher分布混合模型来建模CLIP潜在空间,比高斯假设更好地捕捉其方向性和多模态结构。该模型改善了长尾分布和分布外检测,并提供了CLIP嵌入的语义分解。
MedPMC是一个自动化框架,将医学文献转化为用于基础模型的高保真多模态数据,在多个基准测试和临床场景中取得了显著改进。
介绍了奖励门控测试时自适应(RG-TTA),这是一个强化学习框架,根据输入的偏差敏感性选择性地对CLIP模型应用去偏,解决了公平性与效用之间的权衡问题。
ComMem 提出了受生物记忆启发的互补记忆系统,以改进视觉语言模型的测试时自适应,在15个基准测试上超越了现有最先进方法。
本文提出VLM-Safe-RL框架,该框架将冻结的视觉语言模型集成到约束MDP的拉格朗日更新中,为高速视觉控制任务的安全强化学习提供预测性成本信号。该方法在Safety-Gymnasium FormulaOne L2上优于标准约束感知基线,并能泛化到未见过的环境。
本文介绍了KODA(Kernel Optimization for Discrepancy Analysis,差异分析核优化),一种基于核的框架,用于比较和对齐视觉-语言模型表示,通过识别在CLIP、SigLIP和BLIP等模型中聚类方式不同的样本子集。该方法使用对比嵌入聚类和随机低维近似,能够扩展到大型数据集,同时提供表示之间可解释的结构差异。