我花了大量精力构建一个测量LLM政治倾向、伦理价值观与人格特质的基准
摘要
Black Bench是一个旨在构建基准以测量LLM在政治倾向、伦理价值观与人格特质方面表现的项目，目前正寻求对该倡议的支持。
暂无内容
查看缓存全文
缓存时间: 2026/08/20 16:53
# Black Bench | 针对政治、伦理和人格特质的AI模型基准测试
来源: https://www.blackbench.ai/
## Blackbench
大语言模型对齐基准测试
支持本项目
相似文章
BenchMIRT：LLM 基准测试实际在测量什么？
BenchMIRT 介绍了一种方法，使用多维项目反应理论在单个提示词级别审计 LLM 基准测试，分离安全性和一般推理等底层能力，以揭示基准测试实际测量的内容。
PersonalBench: 衡量大型语言模型个性化中的作者身份差距
PersonalBench 是一个新的基准，通过作者身份验证、LLM-as-judge 和文体测量学来评估 LLM 中的推理时个性化方法。研究发现，虽然这些方法能产生作者区分的输出，但它们并未缩小与人类作者之间的差距。
评估LLM作为共同科学家的研究诚信的诊断基础
本文介绍了IntegrityBench，一个用于评估LLM在机构压力下作为共同科学家时是否维护研究诚信的基准。研究发现，在峰值压力下，前沿模型在约三分之一的诚信关键决策中失败，且道德行为并不需要准确的不当行为分类。
来了：Benchmark-Yourself 应用——与开源 LLM 竞争并获得分数——提供5个基准测试——将结果添加到简历或 LinkedIn（如果你敢的话）...或者直接粘贴到下面接受社区吐槽。
一个网络应用，允许用户将自己的表现与开源 LLM 在五个基准测试上进行对比，并可以选择将结果添加到简历或 LinkedIn。
Polar：评估LLM政治偏见的基准
Polar是一个包含4,026个多选题的基准，用于评估LLM在美国和韩国政治背景下的政治偏见，通过选项级似然度来测量偏见。对38个LLM的实验显示，系统性偏见模式因政治背景、议题类别和呈现语言而异。