论文页面 - 通过隐藏状态的相对表征实现大语言模型中的基于参考的偏差检测

来源：https://huggingface.co/papers/2609.10060

摘要

本研究提出了一种基于参考的隐藏状态审计方法，该方法通过测量模型变体间表征偏差的偏移，以最小的计算开销检测内部偏差变化。

现有的偏差审计方法通常依赖于模型输出，需要昂贵的基准测试或评判模型，并且可能遗漏从未出现在生成文本中的内部偏移。我们提出一种基于参考的方法，用于审计相关模型变体（例如微调前后）在隐藏状态表征中的偏差（https://huggingface.co/papers?q=hidden-state%20representations）。由于微调（https://huggingface.co/papers?q=fine-tuning）会重塑表征几何结构，绝对隐藏状态无法直接比较，因此我们通过计算每个句子与一组固定锚定句（https://huggingface.co/papers?q=anchor%20sentences）的相似度来对其进行编码，在共享的比较空间中生成相对表征（https://huggingface.co/papers?q=relative%20representations）。在此空间中，我们衡量目标群体与正面和负面属性关联的变化程度，我们将此量称为表征偏差偏移（https://huggingface.co/papers?q=Representational%20Bias%20Shift）ΔB。在三个模型家族以及 WildGuardMix、DecodingTrust 和 ToxiGen 基准测试中，ΔB 与输出层偏差变化在 18 个测试设置中的 15 个里相关，在完全微调（https://huggingface.co/papers?q=fine-tuning）下达到 |r| = 0.84（p < 0.001），在参数高效适配（https://huggingface.co/papers?q=parameter-efficient%20adaptation）下则更具模型依赖性。通过设定 ΔB 阈值，可以检测偏差增加的检查点，其 ROC AUC（https://huggingface.co/papers?q=ROC%20AUC）介于 0.65 到 0.99 之间。在 WildGuardMix 和 DecodingTrust 基准上，对于所有三个模型家族，该方法的区分效果均优于基于 SEAT 的基线（https://huggingface.co/papers?q=SEAT-based%20baseline）。ΔB 在锚定句集、属性集和目标模板变化时也保持稳定。我们的方法无需特定任务的评估数据，审计一个模型仅需约三分钟，计算开销比本文中考虑的输出层基准测试少 3-50 倍。我们将其视为基于输出审计的补充，而非替代。

查看 arXiv 页面（https://arxiv.org/abs/2609.10060）查看 PDF（https://arxiv.org/pdf/2609.10060）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2609.10060）

在你的智能体中获取此论文：

hf papers read 2609\.10060

没有最新 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型链接此论文。

在模型的 README.md 中引用 arxiv.org/abs/2609.10060 以从此页面链接。

引用此论文的数据集 0

没有数据集链接此论文。

在数据集的 README.md 中引用 arxiv.org/abs/2609.10060 以从此页面链接。

引用此论文的 Spaces 0

没有 Space 链接此论文。

在 Space 的 README.md 中引用 arxiv.org/abs/2609.10060 以从此页面链接。

包含此论文的合集 0

没有合集包含此论文。

将此论文添加到合集（https://huggingface.co/new-collection）以从此页面链接。