与谁对齐,又究竟是为了什么?

Reddit r/singularity 论文

摘要

对人工智能对齐的探讨,追问对齐究竟应以谁的价值观和什么目标为指向,并质疑对齐研究背后的假设。

暂无内容
查看原文

相似文章

你不是对齐AI,而是与它对齐

Hacker News Top

本文批评了当前AI对齐领域的讨论,认为这场争论被研究人员和科技精英主导,他们排除了真正会受到AI系统影响的人群。文章对比了Eliezer Yudkowsky和Marc Andreessen的立场,指出他们共同持有一种假设:设计者才是唯一相关的参与者。

对齐(Alignment)

Anthropic Research

本文概述了Anthropic对齐团队的使命与研究重点,该团队通过评估、监督和压力测试等手段开发保障措施,以确保未来的AI系统始终保持有益、诚实和无害。

迈向AI对齐的价值理论

arXiv cs.AI

本文分析了94篇AI对齐研究论文,考察人类价值观是如何被概念化的,发现许多论文依赖偏好和合成数据,这可能将复杂的文化价值观简化为二元选择。