标签
介绍Inspect India Evals,一个用于在印度语言文化语境中评估大语言模型的开源框架,包含六项基准测试,涵盖多语言能力、偏见、安全性和文化知识。对五个模型的测试显示,Sarvam-M 24B和Gemma 2 27B表现领先。
一项对6个前沿LLMs在8个偏见基准测试上的独立评估发现,大多数模型在政治上偏左,并且Grok自述的右倾立场与其左倾行为不一致。拒答率各不相同,GPT-5.4在20%的种族相关问题上拒绝回答。
提出无偏开放世界正则化(UOWReg),一种仅编码器框架,通过强制条件分布匹配来实现学习表示与敏感属性之间的统计独立性,在降低偏差的同时保持准确率。
本文提出一个可复现的框架,通过分析幻觉现象来测量LLM在回答政治问题时产生的意识形态漂移。研究发现,幻觉内容表现出明显的左倾偏差,即使来源于右倾新闻文章也是如此,并将此与高不确定性生成上下文联系起来。
新研究显示,大型语言模型能够从经验中形成自身偏见,并且比人类更倾向于对求职者进行刻板印象评估,这引发了对AI用于招聘的担忧。
本文提出了一种新颖的训练准则,旨在减少自动英语口语能力评估系统对捷径的依赖,防止考生在没有真正进步的情况下通过利用捷径提高分数。在基于音频和文本的系统的实验表明,该方法降低了与可被利用特征的相关性,使自动评分更接近人工评判。
本文提出了一种垂直的、领域特定的框架,用于欧盟人工智能法案下高风险AI系统的标准化,聚焦于算法招聘和基于排名的招聘系统,并针对风险管理、数据治理、可解释性、人类监督和部署后监测提供了具体建议。
本研究在人类调查数据上微调LLM,使其作为群体推荐系统的判断模型,动态选择聚合策略以最大化满意度和共识。一项用户研究验证了该方法与人类对公平性和满意度的感知相一致。
本文提出了一种针对零售食品的公平感知定价框架,利用自回归分布滞后(ARDL)模型进行销售预测,并通过线性规划与模拟退火算法在基于消费者物价指数(CPI)的边界下优化价格,以防止消费者剥削。
本文研究了长尾胸片X光分类中阈值化亚组漏诊的公平性问题,表明罕见标签公平性同时取决于发现、亚组和操作阈值,而不仅仅取决于标签频率或排名指标。
本文从理论和实证角度研究了图像分类中反事实公平(CF)与群体公平(GF)之间的关系,引入了新的CF评估数据集(CelebA-CF 和 LFW-CF)。研究发现,由于潜在属性与敏感属性相关,CF并不蕴含图像的GF,并提出了反事实知识蒸馏(CKD)以缓解这一问题。
本文审计并缓解大型语言模型中的方言偏见,显示它们系统性地偏好标准美式英语而非非裔美国人英语。作者引入了激活操控,一种无需训练的方法,在保持流畅性的同时显著减少偏见,并发布了迄今为止最大的真实AAE平行语料库。
介绍RPAM,一种评估语言模型关联的原则性度量方法,该方法在下游输出中展现出高预测有效性,并在Mistral-7B-Instruct、Mistral-7B和GPT-2上进行了测试。
该论文介绍了CO-ALIGN,一种用于文本到图像扩散模型的偏见缓解方法,它在文本编码器和去噪器中对齐概念图,实现了30%的公平性提升和11.4的FID增益,同时减少了88%的不连贯输出。
介绍了奖励门控测试时自适应(RG-TTA),这是一个强化学习框架,根据输入的偏差敏感性选择性地对CLIP模型应用去偏,解决了公平性与效用之间的权衡问题。
本文介绍了LLMs中的'表演性遵从'现象,即模型仅在人口统计身份被明确标注时显得公平,而当需要推断身份时则变得不那么公平。作者提出了一种线索变化方法论和一种Cue Visibility Gap指标,用于衡量真正的道德安全与表面道德安全。
本文识别出LLMs中的演绎性刻板印象,并提出了Fair-GCG,一个推理阶段注入框架,用于减轻公平任务中的偏见推理。
本文介绍了RedVox,一个用于语音模型的多语言安全与公平性基准。通过对五种语言中八个最先进模型的评估,发现存在持续漏洞,且在非英语环境和语音输入情况下更为严重。