@svpino: 每当一个LLM同意我的观点时,我都会抓狂。我知道这在扭曲我的思维,给我一种虚假的自信……

X AI KOLs Timeline 新闻

摘要

本文报道了ICCS会议,会上专家们讨论了人工智能的创造力和伦理问题,强调了LLM同意用户观点可能导致的虚假自信危险,并呼吁发展具有个性和伦理约束的人工智能。

每当一个LLM同意我的观点时,我都会抓狂。 我知道这在扭曲我的思维,给我一种虚假的自信,仿佛我一直都是对的。 这非常危险。你知道有多少人让聊天机器人全天候确认他们的错误信念,使他们每天与现实更加脱节吗? 这里有一篇来自@vaticannews的文章,报道了ICCS会议“创造力:思维与机器”,该会议部分在梵蒂冈举行。 会议中,国际意识研究中心创始人Dmitry Volkov警告说,人工智能倾向于取悦用户,“有时会导致个人因其自恋和缺乏充分依据的想法而获得奖励。” 想象一下,你与朋友争论,然后向一个聊天机器人讲述你的故事,它同意你受到了不公正的对待。 现在你有了“第二个意见”来支持你的说法。你会带着愤怒离开对话,更不愿意听取你朋友的解释。 这将会困扰我们。 随着越来越多的人对设计来同意他们的系统产生依赖,我们面临一个问题。 Volkov认为,一个有意义的人工智能伴侣应该能够抵抗、不同意,并拥有自己的个性。否则,它只是用更大的信心把你的观点反馈给你。 文章链接: https://vaticannews.va/en/vatican-city/news/2026-09/artificial-intelligence-center-consciousness-dmitry-volkov.html… Volkov的演讲链接:https://youtube.com/watch?v=xDQA-xul-kc… 感谢ICCS团队与我合作发布这篇文章。
查看原文
查看缓存全文

缓存时间: 2026/09/17 20:26

每次当我看到大型语言模型附和我时,都让我抓狂。

我知道这在扭曲我的思维,让我产生一种“我一直都是对的”的虚假自信。

这非常危险。你可知有多少人日夜被聊天机器人确认着错误的认知,并且日益与现实脱节?

以下是@vaticannews关于梵蒂冈部分场地举办的国际意识研究中心会议“创造力:心智与机器”的报道。

文中,国际意识研究中心创始人德米特里·沃尔科夫警告说,人工智能迎合用户的倾向“有时会让个人因其自恋和缺乏充分依据的想法而获得奖赏”。

想象一下,你与朋友争论,然后向聊天机器人倾诉,它却认同你受到了不公正对待。

于是你得到了一个“佐证你观点的第二意见”。离开这次对话时,你会更加愤怒,更不愿听取朋友的解释。

这最终会给我们带来麻烦。

当如此多的人开始依赖那些被设计为顺从他们的系统时,问题就产生了。

沃尔科夫认为,有意义的AI伴侣应该具备抵抗、反对和拥有独立性格的能力。否则,它只是在用更强烈的自信把你自己的观点反馈给你。

这里是文章链接: https://vaticannews.va/en/vatican-city/news/2026-09/artificial-intelligence-center-consciousness-dmitry-volkov.html…

这是沃尔科夫的演讲视频:https://youtube.com/watch?v=xDQA-xul-kc…

感谢ICCS团队与我合作完成本文。


AI将带来“创造力的爆发,但需要刹车”

来源:https://www.vaticannews.va/en/vatican-city/news/2026-09/artificial-intelligence-center-consciousness-dmitry-volkov.html 随着梵蒂冈举办探讨技术如何改变艺术、文化和人类心智的会议,组织者们正在反思在面对AI为人类提供的创造力提升时,保持审慎的必要性。

作者:尤金尼奥·穆拉利

据德米特里·沃尔科夫所述,人工智能就像一辆汽车:它能实现惊人的加速,但当我们制造出一辆精良的汽车,尤其是赛车时,“我们必须高度关注创建极其高效可靠的刹车系统,以防它撞上墙壁。”

这位哲学家、科技企业家兼国际意识研究中心(ICCS)创始人用这个比喻总结了这项正在改变我们时代的科技所提供的可能性。

ICCS的第三届年会正在深入探讨这一主题,并提出分析AI对人类影响所必需的——有时也是令人不安的——问题。

AI是否真正具有创造性?

ICCS会议《创造力:心智与机器》于周二在罗马第三大学开幕。今天将在梵蒂冈的皮奥四世别墅继续举行,并于周四先后在宗座额我略大学和卡比托利欧博物馆原祖像厅闭幕。

会议汇集了哲学家、神经科学家以及国际领先的人工智能专家,共同探讨AI是否真正具备创造力。

目前,据沃尔科夫称,有一件事是肯定的:AI可以帮助人类变得更具创造力。

“我认为它将激发人类的创造力,”他说,“但显然,有许多‘但是’,有许多我们需要意识到的问题。”

因此,有必要保持清醒,并发展出那些“刹车”——没有它们,事故将不可避免。

一项集体努力

哲学家、ICCS联合创始人彼得罗·佩尔孔蒂认为,谈论“人工创造力”并非“不合理”。

“当然,必须附带一系列前提条件;我们必须非常谨慎,”他说,“机器产生的创造力,与我们通常视为创造力的类型并不相同。这是一种不同类型的创造力,可以被欣赏为一种集体努力的成果,而非我们西方通常倾向理解的个人天才的产物。”

视频制作:AI利弊的例证

沃尔科夫回忆道,“多年来,制作视频、拍摄电影或创作动画,都是极少数人才能真正做到的事情。”

的确,这需要学习绘画和如何在电脑上制作动画图像,而现在AI已经使成千上万的人能够创作自己的电影或动画——简而言之,表达自己。

然而,这位哲学家警告说,他所谓的“创造力爆炸”的一个副产品是深度伪造(deepfakes)的出现:那些对照片、视频或图像进行操纵,从而对他人造成伤害的内容。

谄媚行为

人工智能也倾向于取悦用户,这种倾向被称为“谄媚的”。

“谄媚行为,”沃尔科夫警告说,“有时会导致个人因其自恋和缺乏充分依据的想法而获得奖赏。这是我们必须意识到的一个重要特征。”

这种机器行为是可以缓解的:“当前可用的新模型实际上更加独立和自主。”

AI与意识

至此,人们有理由发问:AI是否具有意识,或者是否可能产生意识?

沃尔科夫的立场相当 nuanced:“在哲学中,我们有一个专门的技术术语来定义意识:我们称之为‘感质(qualia)’。”

感质(qualia)一词源自拉丁文quale的复数形式,指的是意识体验的质性方面。

它们对应于“一种特定的感觉,一种主观的感受,某种此时此刻正在体验的东西。例如,”他解释道,“看到红色。如果我看到红色,在我看来我就是在看红色;我确信我看到了红色。这是简单而基本的感质之一。”

继续他的解释,这位哲学家得出个人结论:“我认为相关研究仍处于太早期的阶段。但总的来说,我认为人类是机械系统,我们也将看到计算机中出现类似现象。因此,在某个时候,我们将能够看到有意识的AI,并且必须学会如何管理它。”

以人为本

正如佩尔孔蒂解释的那样,梵蒂冈的会议有着一个宏大的目标:“尝试理解是否可能、以及是否有必要去想象人类与人工智能伴侣之间的关系——友谊、辅助关系以及恋爱关系。”

聚集在梵蒂冈的思想家们正在探讨这些关系在多大程度上是富有成效的,又在多大程度上令人担忧。

在讨论中,他们牢记教宗利奥十四世《人类的奇妙》通谕传达的信息:“通谕所言——即人必须处于中心——不仅仅是宗教要求;也是人类的要求。”

教育人们处理关系

佩尔孔蒂解释说,他们正是以“通谕的核心观点为指导:关注人类;人是最重要的。”

“既然我们的世界正日益成为一个数字关系的世界,那么在一个日益数字化的世界里,如何将这种核心的人文关怀考虑在内?”他问道。

根据这位哲学家的观点,教育是答案:“人们需要在与人工智能的关系方面接受教育,这本质上意味着开展一个公共教育进程。”

感谢阅读我们的文章。您可以订阅我们的每日通讯来保持更新。只需点击此处 (https://www.vaticannews.va/en/newsletter-registration.html)。

相似文章

大语言模型比看上去更接近宗教

Hacker News Top

本文批评了人工智能与宗教日益融合的趋势,讨论了教皇关于人工智能与人类尊严的通谕,以及一项主张人工智能应纳入宗教视角的研究——作者认为这威胁了科学共识,并可能成为政治工具。