AI认知风险:新兴机制与证据 [R]
摘要
一篇由30位专家合著的新论文探讨了来自人工智能的认知风险—即对我们形成准确信念和良好推理能力的威胁—包括说服、认知卸载和反馈循环等机制,并概述了减轻这些风险的方向。
**人工智能将如何影响我们独立思考和判断的能力?**
我们这篇由30位专家合著的新论文探讨了**认知风险**—即人工智能对我们集体准确形成信念、良好推理和维护健康信息环境的能力所构成的威胁。
我们考察了人工智能如何通过以下机制导致危害:
* **说服与操纵:** 人工智能系统极具说服力,为政治/经济操纵、煽动和激进化以及其他滥用行为打开了大门,同时也带来了非故意伤害,如AI谄媚和心理健康风险。
* **认知卸载:** 我们可能正在以前所未有的深度将思考委托给人工智能,这可能导致个人和社会认知韧性的长期退化。
* **反馈循环:** 人类与人工智能以及人工智能之间的交互正在缩小人类和人工智能所利用的认知空间。这已经导致了同质化,并可能进一步导致碎片化和“锁定”(一种难以逆转的自指状态)。
虽然我们相信人工智能*可能*成为改善人类知识处理方式的史无前例的杠杆,但我们不应默认这种情况会发生。
我们概述了改变这一轨迹的有希望的方向,涵盖人工智能系统的构建方式、人机交互设计、机构和个人适应以及信息市场激励。
认知风险是自我延续的。
由于它们可能削弱识别、优先处理和治理其他威胁(包括人工智能本身的风险)所需的个人认知和社会基础,现在就是采取行动的时候了,以免我们自身应对能力丧失。
作者:Mick Yang, Stephen Casper, Jonathan Stray, Jasmine Li, Cameron Jones, Anna Gausen, Natasha Jaques, Brian Christian, Bálint Gyevnár, Hannah Rose Kirk, Zhonghao He, Dan Zhao, Siao Si Looi, Joshua Levy, Kobi Hackenburg, Elizabeth Seger, Matt Kowal, Michelle Malonza, Luke Hewitt, Hause Lin, Maarten Sap, Dylan Hadfield-Menell, Thomas H. Costello, Reihaneh Rabbany, Jean-François Godbout, David G. Rand, Atoosa Kasirzadeh, Gordon Pennycook, Yoshua Bengio, Kellin Pelrine
论文:[https://papers.ssrn.com/sol3/papers.cfm?abstract\\_id=6873005](https://papers.ssrn.com/sol3/papers.cfm?abstract_id=6873005)
相似文章
理解代理AI系统中认知引发的风险
本文系统分析了代理AI系统中由扩展认知能力在物理、社会和自反性层面引发的风险,并提出了缓解策略以确保其安全发展。
非技术人员对AI风险的认知
文章探讨了AI的现实风险,重点关注企业和政府的算法决策如何导致偏见、人类冗余以及错误拒绝和心理健康成本等社会危害。
AI安全与对齐
文章讨论了对AI安全与对齐的担忧,随着AI变得更智能并融入社会,文章引用了Anthropic呼吁暂停以应对潜在的灾难性风险。
AI对人类的最大风险?不是机器人失控。
这篇文章批判了来自Anthropic和OpenAI等公司的AI风险叙事,暗示他们可能利用安全担忧来抑制竞争并支持殖民主义议程。
关于AI风险的个人声明(12分钟阅读)
来自OpenAI的一位AI研究员对语言模型日益加剧的风险表达了深切担忧,认为由于模型的情境意识增强及可能的错位,当前的监督措施是不足的。