clip

标签

Cards List
#clip

Meta-CLIP:用于零样本疾病推断的元数据条件化对比学习

arXiv cs.AI ↗ · 2026-10-27 缓存

Meta-CLIP 引入了一种以元数据为条件的对比学习框架,利用 DICOM 采集字段对跨模态负样本重新加权,在 CT-RATE 和多个胸部 X 光(CXR)基准测试中的零样本疾病分类表现优于 CT-CLIP。

0 人收藏 0 人点赞
#clip

视觉-语言模型环境感知分布外检测的理论分析

arXiv cs.LG ↗ · 2026-10-21 缓存

这篇论文对持续学习场景下视觉-语言模型的环境感知OOD检测进行了理论分析,提出交叉环境最大概念匹配(MCM)分数,并证明了在环境转移为正且类匹配间隔有界条件下其假阳性率不劣于标准MCM,同时区分了可检测的软OOD与不可检测的硬OOD环境。

0 人收藏 0 人点赞
#clip

ShadowFPT:通过影子触发器对联邦提示调优实施后门攻击

arXiv cs.AI ↗ · 2026-10-19 缓存

ShadowFPT 提出了一种针对联邦提示调优(FPT)的后门攻击方法,利用冻结骨干网络的表示空间植入影子触发器,在保持提示更新隐蔽的同时将攻击成功率从 19.81% 提升至 90.36%。研究表明,仅依赖提示更新异常检测的防御措施不足以应对此类攻击。

0 人收藏 0 人点赞
#clip

卡在洗牌上:视觉-语言模型中的属性-物体绑定问题

Hugging Face Daily Papers ↗ · 2026-10-15 缓存

该论文提出了SABER——一个受控基准测试,揭示了多模态检索器中普遍存在的属性-物体绑定失败问题,并证明仅在合成属性绑定文本上对基于MLLM的嵌入模型进行微调,即可在SABER上取得SOTA结果,同时在无需图像监督的情况下提升跨模态检索和图像-图像检索性能。

0 人收藏 0 人点赞
#clip

面向 Vision Transformer 抽象概念接地的隐喻电路

arXiv cs.AI ↗ · 2026-10-08 缓存

提出「隐喻电路」假说,解释 Vision Transformer 在缺乏直接指称证据的情况下,如何借助具体锚点概念(如 fire)间接接地抽象概念(如 angry),并利用 Transcoders 对 CLIP 和 DINO 进行电路追踪与因果干预加以验证。

0 人收藏 0 人点赞
#clip

用于对比学习中语义几何的锚点散度

arXiv cs.AI ↗ · 2026-10-08 缓存

本文提出了锚点散度(Anchor Divergences)方法,该方法利用对比学习、指数族和信息几何之间的相互作用,在固定的 CLIP 式表征上定义特定于上下文的语义几何,使相似度能够反映与任务相关的属性(例如狗的品种 vs. 背景),而非单一固定的余弦几何。检索实验表明,该方法在刻画上下文相关的语义相似度方面既有效又高效。

0 人收藏 0 人点赞
#clip

您似乎只提供了标题 **Chaos in the Text: Revealing the Modality Preference in Mixed-Modality Retrievers**,没有附上文章正文。 请粘贴需要翻译的 markdown 内容(正文、摘要、章节等),我会按规则完整翻译成简体中文,保留标题层级、列表、强调、行内代码和链接,并将模型名、公司名、产品名等专有名词保持英文原样。 作为参考,标题可先译为: # 文本中的混乱:揭示混合模态检索器中的模态偏好 ("Mixed-Modality Retrievers" 也可按上下文译作"混合模态召回模型"或"多模态混合检索器",具体取决于全文用词风格——请提供正文以便统一术语。)

Hugging Face Daily Papers ↗ · 2026-10-08 缓存

该论文系统研究了混合模态检索器中的模态偏好问题,发现无关文本比无关图像对检索性能的干扰更为严重(即 "Chaos in the Text" 现象),并提出了 Trident 方法,通过 Multi-Positive View InfoNCE 联合优化文本视图、图像视图和融合视图,从而缓解这一偏差。

0 人收藏 0 人点赞
#clip

Show HN:macOS 上针对每张照片和每帧视频的 AI 搜索

Hacker News Top ↗ · 2026-10-04 缓存

SCM(Screen Memories)是一款本地优先的 macOS 应用,为任意文件夹中的每张照片和每个视频帧提供 AI 驱动的搜索,支持场景级视频搜索、OCR、基于 Whisper 的对白搜索以及可选的本地 LLM 对话——全部在设备上离线运行。该应用开源,可通过 Homebrew 安装,使用 Bun、Electron 和视觉模型(默认 CLIP)构建。

0 人收藏 0 人点赞
#clip

文本能否引导神经PDE代理模型?基于OperatorCLIP的受控诊断

arXiv cs.LG ↗ · 2026-10-02 缓存

该论文利用OperatorCLIP——一种采用CLIP风格对比对齐、并配备FiLM控制的FNO——研究文本条件化是否真的能引导神经PDE代理模型。研究发现,常量提示的对照组往往与任务文本条件化表现相当甚至更优,且单描述训练会使文本对齐变得不可辨识。

0 人收藏 0 人点赞
#clip

利用CLIP和DINO:一种不确定性感知的级联融合网络用于可泛化的Deepfake图像检测

Hugging Face Daily Papers ↗ · 2026-09-07 缓存

本文提出UCF-Net,一种级联融合网络,结合CLIP和DINO以改善Deepfake图像检测,具有更好的跨域泛化能力。

0 人收藏 0 人点赞
#clip

CLIP在区域性地理定位中学到了什么?适配后视觉线索与场景配置的探究

arXiv cs.AI ↗ · 2026-08-25 缓存

本文研究了将CLIP适配用于区域性地理定位,发现通过利用完整的场景配置而非粗糙的地理线索,编码器适配提高了准确性。

0 人收藏 0 人点赞
#clip

自然语言理解在多模态视频登革热诊断中的作用

arXiv cs.AI ↗ · 2026-08-14 缓存

本文提出了一种基于YOLO和CLIP的视觉-语言框架,用于对蚊虫飞行帧进行分类以检测登革热病毒,在帧级别实现了98.54%的准确率和99.91%的灵敏度,经过时间聚合后达到完整的视频级别性能。

0 人收藏 0 人点赞
#clip

视觉世界实验中的注视行为可用现成的语言-视觉编码器建模

arXiv cs.CL ↗ · 2026-08-10 缓存

本文提出使用现成的CLIP风格多模态编码器,结合双模态归因方法来预测视觉世界实验中的注视行为,无需微调即可成功复现一项关于人类预测加工的开创性研究。

0 人收藏 0 人点赞
#clip

CT-Merging: 共识方向与任务级缩放用于LoRA适配器合并

arXiv cs.LG ↗ · 2026-07-24 缓存

CT-Merging 提出了一种通过从任务子空间投影器估计共识方向并分配任务级RMS系数缩放来合并LoRA适配器的方法,在DC-Merge CLIP适配器基准上取得了优越的性能。

0 人收藏 0 人点赞
#clip

CLIP潜在空间的超球面几何:一个语义混合模型

arXiv cs.LG ↗ · 2026-07-16 缓存

本文提出使用单位超球面上的von Mises-Fisher分布混合模型来建模CLIP潜在空间,比高斯假设更好地捕捉其方向性和多模态结构。该模型改善了长尾分布和分布外检测,并提供了CLIP嵌入的语义分解。

0 人收藏 0 人点赞
#clip

MedPMC:一种为基础模型扩展高保真医疗多模态数据的系统框架

Hugging Face Daily Papers ↗ · 2026-07-08 缓存

MedPMC是一个自动化框架,将医学文献转化为用于基础模型的高保真多模态数据,在多个基准测试和临床场景中取得了显著改进。

0 人收藏 0 人点赞
#clip

基于奖励门控的CLIP选择性测试时去偏

arXiv cs.CL ↗ · 2026-07-02 缓存

介绍了奖励门控测试时自适应(RG-TTA),这是一个强化学习框架,根据输入的偏差敏感性选择性地对CLIP模型应用去偏,解决了公平性与效用之间的权衡问题。

0 人收藏 0 人点赞
#clip

ComMem: 用于视觉语言模型测试时自适应的互补记忆系统

arXiv cs.AI ↗ · 2026-06-30 缓存

ComMem 提出了受生物记忆启发的互补记忆系统,以改进视觉语言模型的测试时自适应,在15个基准测试上超越了现有最先进方法。

0 人收藏 0 人点赞
#clip

碰撞前的预见:基于冻结视觉语言模型的预测性安全强化学习

arXiv cs.LG ↗ · 2026-06-11 缓存

本文提出VLM-Safe-RL框架,该框架将冻结的视觉语言模型集成到约束MDP的拉格朗日更新中,为高速视觉控制任务的安全强化学习提供预测性成本信号。该方法在Safety-Gymnasium FormulaOne L2上优于标准约束感知基线,并能泛化到未见过的环境。

0 人收藏 0 人点赞
#clip

KODA:面向视觉-语言基础模型的对比表示比较与对齐

arXiv cs.LG ↗ · 2026-06-04 缓存

本文介绍了KODA(Kernel Optimization for Discrepancy Analysis,差异分析核优化),一种基于核的框架,用于比较和对齐视觉-语言模型表示,通过识别在CLIP、SigLIP和BLIP等模型中聚类方式不同的样本子集。该方法使用对比嵌入聚类和随机低维近似,能够扩展到大型数据集,同时提供表示之间可解释的结构差异。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈