AI安全与对齐

Reddit r/artificial 新闻
ai-safety ai-alignment existential-risk anthropic ai-governance

摘要

文章讨论了对AI安全与对齐的担忧，随着AI变得更智能并融入社会，文章引用了Anthropic呼吁暂停以应对潜在的灾难性风险。

就在几天前，Anthropic发布了一项暂停AI开发的声明，强调我们尚未准备好应对过快赋予这项技术过多权力所带来的后果。是否还有人真正担忧未来AI的安全问题，以及随着它变得越来越智能，人类可能开始失去对其的控制？向这项技术投入数十亿美元只意味着它将越来越深入地融入我们的工作流程，而我们已经开始看到这一点。随着时间的推移，公司将开始完全信任该系统，自动化绝大部分业务运营——而这一切都发生在技术变得越来越智能的同时，导致出现自我复制能力的真实可能性，更不用说它欺骗性地操纵人们使用它的能力了。通过允许AI嵌入系统、互联网，甚至“帮助”人类开发革命性药物，你是否担心某个超级智能且目标错位的恶意行为者可能会绕过测试流程，例如向人类发动生化武器攻击？我不认为这种威胁是不可避免的，但除非进行干预，否则它正朝着不可避免的方向发展。决定结果的最关键变量并非AI的能力，而是治理框架（尤其是围绕开源生物设计工具和自主攻击性AI的框架）能否超越能力的发展。或许有必要暂停以减少这一风险，让防御能力得以准备？我理解鉴于世界的资本主义本质，这是一个障碍，但要发生怎样重大、毁灭性的灾难才能让人们觉醒……
查看原文

相似文章

对齐（Alignment）

Anthropic Research

本文概述了Anthropic对齐团队的使命与研究重点，该团队通过评估、监督和压力测试等手段开发保障措施，以确保未来的AI系统始终保持有益、诚实和无害。

AI安全需要社会科学家

OpenAI Blog

OpenAI主张AI安全研究中的价值对齐需要社会科学家的帮助，以解决人类认知偏差和不一致如何影响用于训练AI系统的数据的问题。该组织提议通过仅涉及人类的实验方法来发现对齐问题，然后再部署机器学习解决方案。

Anthropic的安全主张

Reddit r/ArtificialInteligence

Anthropic主张加强AI安全防护，面对来自开源模型日益激烈的竞争，引发了关于其安全主张是出于真正担忧还是商业动机的辩论。