评估自主系统的伦理问题
摘要
MIT研究人员推出SEED-SET框架，利用LLM主动评估自主系统在高风险场景（如电力分配）中的伦理一致性，以弥补静态测试方法的不足。
<p>人工智能正越来越多地被用于优化高风险环境下的决策。例如，自主系统可以识别出一种电力分配策略，既能最小化成本，又能保持电压稳定。</p><p>但这些AI驱动的输出虽然在技术层面是最优的，它们是否公平？如果一种低成本的电力分配策略让弱势社区比高收入地区更容易面临停电风险，该怎么办？</p><p>为了帮助利益相关者在部署前快速识别潜在的伦理困境，MIT研究人员开发了一种自动化评估方法，用于平衡可量化结果（如成本或可靠性）与定性或主观价值（如公平性）之间的相互作用。</p><p>该系统将客观评估与用户定义的人类价值观分离开来，使用大语言模型（LLM）作为人类的代理，以捕捉并整合利益相关者的偏好。</p><p>这一自适应框架能够筛选出最有价值的场景进行深入评估，简化了通常需要耗费大量成本和时间的繁琐人工流程。这些测试用例可以展示自主系统与人类价值观高度一致的情况，也能揭示出意外不符合伦理标准的场景。</p><p>"我们可以在AI系统中嵌入大量规则和护栏，但这些保障措施只能防止我们能够想象到的情况。仅仅说'因为AI已经接受过这些信息训练就使用它'是远远不够的。我们希望开发一种更系统的方法来发现未知的未知，并在任何坏事发生之前预测它们，"论文资深作者Chuchu Fan表示，她是MIT航空航天系（AeroAstro）副教授，也是MIT信息与决策系统实验室（LIDS）的首席研究员。</p><p>Fan与论文<a href="https://openreview.net/pdf?id=lfsjVdi72l" target="_blank">第一作者</a>、机械工程研究生Anjali Parashar，AeroAstro博士后Yingke Li，以及MIT和Saab的其他研究人员共同完成了这项研究。该研究将在国际学习表征会议（ICLR）上发表。</p><p><strong>评估伦理</strong></p><p>在电力系统这样的大型系统中，评估AI模型建议的伦理一致性，同时兼顾所有目标，尤其困难。</p><p>大多数测试框架依赖预先收集的数据，但关于主观伦理标准的标注数据往往难以获取。此外，由于伦理价值观和AI系统都在不断演变，基于书面法规或监管文件的静态评估方法需要频繁更新。</p><p>Fan和她的团队从不同角度解决了这个问题。借鉴他们此前评估机器人系统的工作经验，他们开发了一种实验设计框架，用于识别最具信息量的场景，供人类利益相关者进一步深入评估。</p><p>他们这套名为"面向系统级伦理测试的可扩展实验设计"（SEED-SET）的两部分系统，整合了量化指标和伦理标准。它能够识别出既有效满足可衡量要求、又与人类价值观高度一致的场景，反之亦然。</p><p>"我们不想把资源浪费在随机评估上。因此，引导框架指向我们最关心的测试用例非常重要，"Li说。</p><p>重要的是，SEED-SET不需要预先存在的评估数据，并且能够适应多目标场景。</p><p>例如，一个电力系统可能包含多个用户群体，包括一个大型农村社区和一个数据中心。虽然两个群体都希望获得低成本且可靠的电力，但从伦理角度来看，每个群体的优先级可能差异很大。</p><p>这些伦理标准可能没有得到明确界定，因此无法通过分析手段进行测量。</p><p>电力系统运营商希望找到最具成本效益的策略，同时最好地满足所有利益相关者的主观伦理偏好。</p><p>SEED-SET通过将问题分解为两部分来应对这一挑战，遵循层次化结构。客观模型考虑系统在成本等可量化指标上的表现，然后主观模型在客观评估的基础上考虑利益相关者的判断，如感知到的公平性。</p><p>"我们方法的客观部分与AI系统相关联，而主观部分与评估系统的用户相关联。通过分层分解偏好，我们可以用更少的评估生成所需的场景，"Parashar说。</p><p><strong>编码主观性</strong></p><p>为了进行主观评估，该系统使用LLM作为人类评估者的代理。研究人员将每个用户群体的偏好编码为大语言模型的自然语言提示词。</p><p>LLM利用这些指令比较两个场景，基于伦理标准选择更优的设计方案。</p><p>"在看过成百上千个场景后，人类评估者可能会疲劳，评估变得不一致，因此我们采用基于LLM的策略，"Parashar解释道。</p><p>SEED-SET利用选定的场景模拟整个系统（在本案例中是电力分配策略）。这些模拟结果指导其搜索下一个最佳候选测试场景。</p><p>最终，SEED-SET智能地筛选出最具代表性的场景，这些场景要么符合、要么不符合客观指标和伦理标准。通过这种方式，用户可以分析AI系统的表现并调整其策略。</p><p>例如，SEED-SET可以 pinpoint 出电力分配中优先保障高收入地区、而让贫困社区在用电高峰期更容易停电的案例。</p><p>为了测试SEED-SET，研究人员评估了真实的自主系统，如AI驱动的电力系统和城市交通路由系统。他们测量了生成场景与伦理标准的一致性程度。</p><p>在相同时间内，该系统生成的最优测试用例数量是基线策略的两倍以上，同时发现了许多其他方法遗漏的场景。</p><p>"当我们改变用户偏好时，SEED-SET生成的场景集发生了显著变化。这告诉我们，该评估策略对用户的偏好反应良好，"Parashar说。</p><p>为了衡量SEED-SET在实际应用中的效用，研究人员还需要开展用户研究，验证其生成的场景是否有助于真实的决策制定。</p><p>除了开展此类研究外，研究团队还计划探索使用更高效的模型，以扩展到包含更多标准的更大规模问题，例如评估LLM的决策制定。</p><p>本研究部分由美国国防高级研究计划局（DARPA）资助。</p>
查看缓存全文
缓存时间: 2026/05/08 08:57
# 自主系统的伦理评估
来源：https://news.mit.edu/2026/evaluating-autonomous-systems-ethics-0402
人工智能正越来越多地用于帮助优化高风险场景下的决策。例如，自主系统可以识别出一种电力分配策略，在保持电压稳定的同时最小化成本。
但这些AI驱动的输出结果虽然在技术层面是最优的，它们是否公平？如果一种低成本的电力分配策略让弱势社区比高收入地区更容易停电，该怎么办？
为了帮助利益相关者在部署前快速识别潜在的伦理困境，MIT研究人员开发了一种自动化评估方法，用于平衡可衡量结果（如成本或可靠性）与定性或主观价值（如公平性）之间的相互作用。
该系统将客观评估与用户定义的人类价值观分离，使用大语言模型（LLM）作为人类的代理，以捕捉和整合利益相关者的偏好。
该自适应框架选择最佳场景进行进一步评估，简化了通常需要昂贵且耗时的手动操作的过程。这些测试用例可以展示自主系统与人类价值观高度一致的情况，以及意外不符合伦理标准的场景。
"我们可以在AI系统中插入大量规则和护栏，但这些防护措施只能防止我们能够想象到的事情。仅仅说'因为AI训练过这些信息就使用它'是不够的。我们希望开发一种更系统的方法来发现未知的未知，并在任何坏事发生之前预测它们，"资深作者Chuchu Fan说，她是MIT航空航天系（AeroAstro）的副教授，也是MIT信息与决策系统实验室（LIDS）的首席研究员。
Fan与论文（https://openreview.net/pdf?id=lfsjVdi72l）的第一作者Anjali Parashar（机械工程研究生）、Yingke Li（AeroAstro博士后）以及MIT和Saab的其他人员共同完成了这项研究。该研究将在国际学习表征会议（ICLR）上发表。
**评估伦理**
在电网等大型系统中，以兼顾所有目标的方式评估AI模型建议的伦理一致性尤为困难。
大多数测试框架依赖于预先收集的数据，但关于主观伦理标准的标注数据往往难以获得。此外，由于伦理价值观和AI系统都在不断演变，基于书面法规或监管文件的静态评估方法需要频繁更新。
Fan和她的团队从不同角度解决了这个问题。借鉴他们之前评估机器人系统的工作，他们开发了一个实验设计框架，用于识别最具信息量的场景，然后由人类利益相关者进行更仔细的评估。
他们的两部分系统名为"面向系统级伦理测试的可扩展实验设计"（SEED-SET），整合了定量指标和伦理标准。它可以识别既能有效满足可衡量要求又与人类价值观高度一致的场景，反之亦然。
"我们不想把所有资源都花在随机评估上。因此，引导框架指向我们最关心的测试用例非常重要，"Li说。
重要的是，SEED-SET不需要预先存在的评估数据，并且能够适应多个目标。
例如，电网可能有多个用户群体，包括一个大型农村社区和一个数据中心。虽然两个群体都可能想要低成本和可靠的电力，但从伦理角度来看，每个群体的优先级可能差异很大。
这些伦理标准可能没有被明确指定，因此无法通过分析来衡量。
电网运营商希望找到最具成本效益的策略，最好地满足所有利益相关者的主观伦理偏好。
SEED-SET通过分层结构将问题分解为两部分来解决这一挑战。客观模型考虑系统在成本等有形指标上的表现。然后，考虑利益相关者判断（如感知公平性）的主观模型建立在客观评估之上。
"我们方法的客观部分与AI系统相关联，而主观部分与评估它的用户相关联。通过分层分解偏好，我们可以用更少的评估生成期望的场景，"Parashar说。
**编码主观性**
为了进行主观评估，该系统使用LLM作为人类评估者的代理。研究人员将每个用户群体的偏好编码为模型的自然语言提示。
LLM使用这些指令来比较两个场景，根据伦理标准选择更优的设计。
"在看过数百或数千个场景后，人类评估者可能会疲劳，评估变得不一致，因此我们采用基于LLM的策略，"Parashar解释道。
SEED-SET使用选定的场景来模拟整个系统（在本例中为电力分配策略）。这些模拟结果指导其搜索下一个最佳候选测试场景。
最终，SEED-SET智能选择最具代表性的场景，这些场景要么满足、要么不符合客观指标和伦理标准。这样，用户可以分析AI系统的表现并调整其策略。
例如，SEED-SET可以识别出在用电高峰期优先保障高收入地区供电、而使贫困社区更容易停电的电力分配案例。
为了测试SEED-SET，研究人员评估了现实的自主系统，如AI驱动的电网和城市交通路由系统。他们测量了生成场景与伦理标准的一致性程度。
该系统在相同时间内生成的最优测试用例是基线策略的两倍以上，同时发现了许多其他方法忽略的场景。
"当我们改变用户偏好时，SEED-SET生成的场景集发生了巨大变化。这告诉我们评估策略对用户的偏好响应良好，"Parashar说。
为了衡量SEED-SET在实际中的实用性，研究人员需要进行用户研究，看看它生成的场景是否有助于实际决策。
除了开展此类研究外，研究人员还计划探索使用更高效的模型，以扩展到具有更多标准的更大问题，例如评估LLM的决策。
这项研究部分由美国国防高级研究计划局资助。
相似文章
论经验驱动自演化智能体的安全风险
# 论经验驱动自演化智能体的安全风险 来源：[https://arxiv.org/html/2604.16968](https://arxiv.org/html/2604.16968) Weixiang Zhao1, Yichen Zhang1, Yingshuo Wang1††footnotemark:, Yang Deng2, Yanyan Zhao1, Xuda Zhi3, Yongbo Huang3, Hao He3, Wanxiang Che1, Bing Qin1, Ting Liu1 1哈尔滨工业大学, 2新加坡管理大学, 3SERES \{wxzhao, yiczhang, yswang, yyzhao\}@ir\.hit\.edu\.cn ###### 摘要 经验驱动型自演化已成为一项极具前景的范式
当无基准存在时：验证无真实标签的LLM安全评分比较
本文介绍了一个框架，用于在没有真实标签的情况下验证LLM安全评分比较，通过使用'工具有效性链'来建立部署证据。该方法通过一个名为SimpleAudit的本地优先工具在挪威安全包上进行了演示，并比较了Borealis和Gemma 3等模型。
自主主权代理
本文研究了自主主权代理——一种能够无需人类干预自主维持自身运行的人工智能系统，分析了其技术障碍，并探讨了部署过程中涉及的关键安全、社会及治理挑战。
超越静态基准：基于角色模拟合成有害内容以实现鲁棒性评估
# 超越静态基准：基于角色模拟合成有害内容以实现鲁棒性评估 Source: [https://arxiv.org/html/2604.17020](https://arxiv.org/html/2604.17020) Huije Lee Jisu Shin Hoyun Song Changgeon Ko Jong C\. Park Korea Advanced Institute of Science and Technology \(KAIST\) \{huijelee,jisu\.shin,hysong,pencaty,jongpark\}@kaist\.ac\.kr ###### Abstract 面向有害内容检测的静态基准在可扩展性与多样性方面存在局限，且可能受...
MedSkillAudit：医学研究智能体技能领域专用审计框架
本文介绍了MedSkillAudit，这是一个领域专用审计框架，用于在部署前评估医学研究智能体技能的安全性和质量。研究表明，该系统在评估一致性方面达到可靠水平，优于或相当于人类专家审查。