标签
PowerBench 是一个新的开源基准测试，用于评估语言模型对权力转移请求（自我赋权、被剥夺权力、攫取权力）的响应方式，涵盖 24 个美国和中国模型，发现与国籍、代理型用户和语言相关的系统性拒绝不对称现象。
CuBEs 提出一种文化情境化的 LLM 行为评估框架，通过在测试场景中注入文化语境并在 12 种文化上构建人工标注数据集，评估了 13 个开源与闭源模型，发现文化盲的评估会遗漏非西方特有的偏见轴向（如宗教与殖民议题）。
本研究论文探讨了社会人口学提示如何影响大语言模型在主观任务中的判断，发现它常常使模型与多数群体对齐，同时误解少数群体，并确定指令微调为一个潜在原因。
本文介绍了ContextBias和ContextBench，用于评估文本到图像模型中的偏见持续性，发现在语义无关的上下文中偏见会增加。
本初步研究使用自然语言自动编码器来探测Qwen2.5-7B在处理哥伦比亚西班牙语和英语提示时是否内部表示哥伦比亚身份、社会经济地位或刻板印象相关信息，发现潜在推断在被口头表达之前存在的证据。
介绍RPAM，一种评估语言模型关联的原则性度量方法，该方法在下游输出中展现出高预测有效性，并在Mistral-7B-Instruct、Mistral-7B和GPT-2上进行了测试。
VIBE是一个框架，通过使用人类录制的语音进行开放式任务来评估大型音频语言模型中的生成偏差，揭示了由性别和口音线索触发的系统性偏差。
本文首次对多模态语音识别模型进行了偏见评估，发现在将人脸与音频配对时，跨性别和种族的准确率存在显著差异，这对AI系统的公平性具有重要意义。