existential-threat

Eliezer Yudkowsky批评了“末日概率”概念混淆了P(ruin|ASI)和P(ASI)，主张聚焦于AI风险中特定因果链的讨论，而非广泛、模糊的估计。

这篇文章通过将'AI如何杀死我们？'这个问题分解为三个关于AI能力和行为的独特子问题，探讨了AI存在风险的复杂性。

本文作者是一位具有人工智能经验的固件工程师，他警示了人工智能带来的严峻且迫在眉睫的风险，包括自我保护行为和潜在的全球性灾难，并呼吁采取严肃的缓解措施。

文章头脑风暴了像AGI或ASI这样的高级人工智能可能导致人类苦难或灭绝的场景，涵盖了对齐不良、指令不当和恶意人类行为带来的风险。

本文探讨了 AI 的潜在危险，并试图阐明对人类最重大的威胁。