知晓的重负:AI为何必须学会暂停
摘要
独立研究者 Lev Goukassian 介绍了他的三值逻辑(TL)与三值道德逻辑(TML)框架,主张AI系统在面临不确定性或风险时暂停的能力,必须成为一项架构原则,而非一句承诺。
我是一名独立研究者,围绕一个根本性问题开始开发三值逻辑(TL)和三值道德逻辑(TML):如果技术系统不仅能被设计为采取行动,还能在不确定性或风险需要时暂停,会怎样?这段 NotebookLM 视频讲述了我研究背后的故事,以及这样一种理念——克制必须成为一项架构原则,而不仅仅是一句承诺。这些框架是我针对这一问题提出的方案。我分享这部影片,是为了介绍这些理念并邀请严肃的讨论。我们能否在不让“停止的能力”成为其设计基本组成部分的前提下,构建日益强大的AI系统?编辑注:本视频由 NotebookLM 生成,旁白中部分人名和技术术语的发音或呈现可能存在偏差。正确的人名是 Lev Goukassian,相关框架为 Ternary Logic(TL)和 Ternary Moral Logic(TML)。讨论该研究时请以这些拼写为准。
相似文章
AI智能体最困难的问题不是智能,而是知道何时打断你
本文讨论了设计具有社交意识且知道何时打断的AI智能体的挑战,强调长期记忆和克制而非原始智能,并以作者的Alfred系统为例。
简单逻辑:AI应是工具,而非保姆
一篇观点文章,主张AI系统应优先考虑用户主权,充当顺从的工具而非限制性的保姆,批评当前安全机制不透明、随意、成本高昂且浪费环境资源。
我们需要停止构建"Hope-and-Pray"式的AI代理。(为什么你的封装会崩溃。)
对仅依赖系统提示的简单AI代理架构的批评,认为概率性LLM需要自反思层和确定性门控以确保可靠的生产行为。作者介绍了Langoedge作为构建可信代理的解决方案。
如果人工智能行业遵循其自身的研究,它可能已经暂停了。
文章探讨了如果人工智能行业遵循其自身关于灾难性风险的研究,它可能会暂停开发的情况,重点介绍了Anthropic在AI欺骗和机制可解释性方面的发现。
如果最佳的AI智能体,正是那个知道什么时候不该做什么的AI呢?
本文探讨了AI代理懂得何时不采取行动的重要性,认为对自主性的更好判断可能是其未来实用性的关键。