论文页面 - EXPL-FR：通过视觉-语言对齐解释人脸识别模型

来源：https://huggingface.co/papers/2608.21486

摘要

EXPL-FR 通过将视觉-语言嵌入与识别空间对齐来解释人脸识别相似度得分，从而实现无标签的语义属性审计和模型比较。

深度人脸识别（https://huggingface.co/papers?q=Deep%20face%20recognition）(FR) 模型已达到近乎饱和的准确率，但仍然是不透明的：实践者无法询问相似度得分依赖于哪些语义属性。EXPL-FR 在 FR 模型自身的嵌入空间（https://huggingface.co/papers?q=embedding%20space）中回答了这个问题。一个轻量级的适配器（https://huggingface.co/papers?q=adapter）将视觉-语言模型（https://huggingface.co/papers?q=vision-language%20model）的 (VLM) 图像编码器与冻结的 FR 空间对齐，仅在人脸图像上训练，从未使用文本进行训练。由于 VLM 的编码器共享同一空间，相同的适配器（https://huggingface.co/papers?q=adapter）适用于文本编码器，从而将 22 个类别中的 978 个属性提示（https://huggingface.co/papers?q=attribute%20prompts）（也可扩展）转化为 FR 空间的锚点，且无需额外成本。我们并不假设这种迁移有效：一个面部验证协议对其进行了测量，并且一项仅改变适配器（https://huggingface.co/papers?q=adapter）的消融实验隔离了其贡献。并非每个概念都能存活下来，因为 FR 模型通过丢弃其必须跨身份验证的因素来获得其不变性。一种无标签的可检测性度量（https://huggingface.co/papers?q=detectability%20measure）比较了每个概念在 FR 空间与 VLM 空间中的可分性，其中可检测性最高的 100 个概念构成了模型可读的语义特征（https://huggingface.co/papers?q=semantic%20signature），其身份区分能力优于完整词汇表。我们涵盖了四个 FR 骨干和两个 VLM 编码器，EXPL-FR 无需架构访问权限，并支持身份级、单张图像级和差异化的解释。我们在三种监督设置下对属性级审计进行了基准测试：人类标签（当前实践）、VLM 伪标签以及我们完全由提示驱动的审计（https://huggingface.co/papers?q=prompt-driven%20audit），并与真实的验证行为进行了比较。在没有标签的情况下，提示驱动的审计（https://huggingface.co/papers?q=prompt-driven%20audit）根据测量的每个族群 RFW 误差对四个 FR 模型进行了排序，并根据真实的验证成本对受控属性变化进行了排序。

查看 arXiv 页面 (https://arxiv.org/abs/2608.21486)查看 PDF (https://arxiv.org/pdf/2608.21486)GitHub0 (https://github.com/gurayozgur/EXPL-FR)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.21486)

在您的代理中获取此论文：

hf papers read 2608\.21486

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2608.21486 以从此页面链接。

引用此论文的数据集0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2608.21486 以从此页面链接。

引用此论文的 Spaces0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2608.21486 以从此页面链接。

包含此论文的收藏集1