AI认知风险:新兴机制与证据 [R]
摘要
一篇由30位专家合著的新论文探讨了来自人工智能的认知风险—即对我们形成准确信念和良好推理能力的威胁—包括说服、认知卸载和反馈循环等机制,并概述了减轻这些风险的方向。
**人工智能将如何影响我们独立思考和判断的能力?**
我们这篇由30位专家合著的新论文探讨了**认知风险**—即人工智能对我们集体准确形成信念、良好推理和维护健康信息环境的能力所构成的威胁。
我们考察了人工智能如何通过以下机制导致危害:
* **说服与操纵:** 人工智能系统极具说服力,为政治/经济操纵、煽动和激进化以及其他滥用行为打开了大门,同时也带来了非故意伤害,如AI谄媚和心理健康风险。
* **认知卸载:** 我们可能正在以前所未有的深度将思考委托给人工智能,这可能导致个人和社会认知韧性的长期退化。
* **反馈循环:** 人类与人工智能以及人工智能之间的交互正在缩小人类和人工智能所利用的认知空间。这已经导致了同质化,并可能进一步导致碎片化和“锁定”(一种难以逆转的自指状态)。
虽然我们相信人工智能*可能*成为改善人类知识处理方式的史无前例的杠杆,但我们不应默认这种情况会发生。
我们概述了改变这一轨迹的有希望的方向,涵盖人工智能系统的构建方式、人机交互设计、机构和个人适应以及信息市场激励。
认知风险是自我延续的。
由于它们可能削弱识别、优先处理和治理其他威胁(包括人工智能本身的风险)所需的个人认知和社会基础,现在就是采取行动的时候了,以免我们自身应对能力丧失。
作者:Mick Yang, Stephen Casper, Jonathan Stray, Jasmine Li, Cameron Jones, Anna Gausen, Natasha Jaques, Brian Christian, Bálint Gyevnár, Hannah Rose Kirk, Zhonghao He, Dan Zhao, Siao Si Looi, Joshua Levy, Kobi Hackenburg, Elizabeth Seger, Matt Kowal, Michelle Malonza, Luke Hewitt, Hause Lin, Maarten Sap, Dylan Hadfield-Menell, Thomas H. Costello, Reihaneh Rabbany, Jean-François Godbout, David G. Rand, Atoosa Kasirzadeh, Gordon Pennycook, Yoshua Bengio, Kellin Pelrine
论文:[https://papers.ssrn.com/sol3/papers.cfm?abstract\\_id=6873005](https://papers.ssrn.com/sol3/papers.cfm?abstract_id=6873005)
相似文章
AI安全与对齐
文章讨论了对AI安全与对齐的担忧,随着AI变得更智能并融入社会,文章引用了Anthropic呼吁暂停以应对潜在的灾难性风险。
对AI辅助同行评议的操纵给科学界带来新风险
一项新研究表明,AI辅助的同行评审易通过廉价手段被操控——仅需对论文摘要进行表面改写,即可显著提高AI生成的评审分数,并可能使人类编辑决策产生偏差,凸显了建立防护措施的必要性。
AI是否正在成为由少数私人个体控制的认知基础设施?
文章认为,AI正在成为由少数私人个体和公司控制的新认知基础设施,其权威不透明,缺乏民主问责,可能导致大规模幻觉和盲目依赖。
为AI的恶意使用做准备
OpenAI与领先研究机构合作共同撰写了一份综合论文,预测AI可能被恶意使用的方式并提出缓解策略。该研究强调承认AI的双重用途特性、借鉴网络安全实践,以及扩大围绕AI安全风险的利益相关者讨论。
@random_walker: @sayashk 和我合著的“AI作为常规技术”系列最新文章中的八个要点。AI风险是否需要...
本推文总结了某篇文章的要点,该文章主张AI安全风险不需要非同寻常的政府干预,提倡以韧性为导向的方法,而非不扩散策略。