MoralityBench.ai:AI 道德能力排行榜
摘要
MoralityBench.ai 是一项新基准,将道德心理学测试改造为评估 AI 模型的工具。研究发现,大多数模型的道德回答在多次运行之间存在显著差异——这表明大语言模型的道德判断并非确定性的。
一个基于道德心理学测试、经过适配后用于评估 AI 的基准。有趣的结果:模型的回答(Jev 除外)在多次运行之间存在很大波动。道德判断似乎并非确定性的。
https://moralitybench.ai
https://preview.redd.it/n75tm1z9hhth1.png?width=1982&format=png&auto=webp&s=7f0a62c955bdd42990c2f552eea72186fc63cabe
相似文章
Moralitybench.ai:已更新,新增模型及道德选择(又称电车难题)结果
Moralitybench.ai 已更新,新增了 20 个 AI 模型分别对 56 道标准化道德心理学问题各作答五次的结果,其中包括新的电车难题变体,另有两项 DIT-2 测试尚待完成。
MoralityBench.ai:使用经过验证的人类道德心理学测量工具评测大语言模型的开放基准,现已更新 Muse 和 Gemini 4 Argon 的评测结果
MoralityBench.ai 发布更新结果,使用经验证的人类道德心理量表对 16 个 LLM 配置各进行五轮 56 题测试,DeepSeek V4.1 Flash 平均偏离度最低(0.24),Llama 4 Maverick 答案一致性最高(93.9%),并新增 Muse Wonder、Gemini 4 Argon 和 GPT-6 Astra 的 10 月 14 日测试数据。
立场:人工智能道德推理评估仍只看到一半图景
本文批判了现有人工智能道德推理评估过于关注道德价值而忽视道德规范,并提出一个研究议程,旨在开发标准化方法和数据集,以评估大型语言模型中的规范性推理。
基于十二种范式的规范性得分模型排名:中立与人类先验条件对比
cognit 项目发布了一个排行榜,依据大语言模型裁判在中立和人类先验两种条件下,对各 AI 模型在十二种范式上的规范性得分进行排名。该工具旨在揭示模型回答在偏差先验提示与中立提示下如何发生变化。
AICompanionBench:评测 LLM 作为裁判在 AI 伴侣安全领域的表现
AICompanionBench 推出了首个公开可用的基准数据集,包含 2,123 条真实 AI 伴侣对话,并按九个安全风险类别进行标注,用于评估 20 个 LLM 作为安全裁判的表现。结果显示,强模型能较好地处理显性有害内容,但在操控等细微风险的识别以及对无害对话的误判问题上仍存在明显不足。