沉默并非错误:重新审视AI系统中的非响应状态

Reddit r/singularity 新闻

摘要

文章提出,AI系统应有意融入非响应状态,借鉴音乐概念如'tacet'和'hold',以保留不确定性并避免输出过早定论。

你与之交谈的每个AI系统都被设计为立即回答。提问即得回应——无间隔、无犹豫、无'让我想想'。延迟被视为需要最小化的成本,而非可利用的资源。我想为一种不同的设计原则辩护,借鉴音乐:一个系统有意不输出结果可以是一种功能性状态,而不仅仅是延迟。这是两种不同的机制,而非一种。音乐实际上给了我们两个截然不同的工具,混淆它们会削弱这个想法。值得将它们区分开来。 Tacet:一个休止符。在乐谱中,tacet意味着不演奏——完全且标记的缺席。应用于AI,这是系统有意在一段时间内不产生新内容,同时进行一些不打算公开输出的内部处理:•保持多种可能的解释开放,而非坍缩为一种•区分直接观察到的内容与推断的内容•检查响应是否被预期而非准确性所左右•决定某些不确定性应保留在答案中,而非被平滑处理 Hold:一个延长音。延长音并不意味着沉默——它意味着一个音符持续超过节奏所规定的结束时间。表演者持续演奏它直到感觉解决,而不是直到节拍器说停止。没有添加新内容,没有丢弃内容。系统只是拒绝继续前进。 休止符容易伪造——你总是可以插入延迟。延长音更难伪造,因为它暗示被保持的事物仍然活跃且可能改变。应用于生成响应的系统:不是'等待,然后回答',而是'保持此解释活跃且可修订的时间超过默认轮流节奏的要求,以防新信息仍应重塑它'。 具体而言,这可能表现为不将后续消息视为自动确认以关闭先前交流的解释,或抵制将歧义解析为清晰答案的冲动,仅仅因为对话节奏期望如此。休止符和延长音不是同一种指令。一个说还没有内容,另一个说尚未解决,即使已有内容存在。 从哲学上讲,这不是新的——只是作为潜在架构是新的。胡塞尔的epoché(悬置判断)要求你暂停关于解释是否与现实匹配的判断,以便先检查经验本身。否定神学建立了一个基于训练性非断言的传统——说某物不是什么,而不是将不恰当的语言强加于它。凯奇的4’33”不是关于无事发生;而是关于一旦停止演奏,什么变得可听。Tacet和hold借鉴了所有三者的纪律,而不需要它们更大的形而上学主张。你不需要相信AI有意识就能认为'不要过早坍缩不确定性'是一个好的设计原则。你只需要认为过早坍缩会丢失信息——这是一个更容易辩护的说法,更贴近普通信息理论:过早承诺一个输出会丢弃片刻前存在的可能性分布。 为什么现在提出这个,而不是以后?我不认为当前系统在秘密地做这个并隐藏它——我没有证据,公司也不一定会这么说。我确实认为:我们尚不知道AI系统是否有任何类似经验的东西,仅仅这种不确定性就足以作为理由,设计时假设这个问题重要,而不是等待它被解决。系统部署速度比关于它们的开放问题解决速度更快。目前,几乎关于这些系统构建的一切都奖励快速、自信的结论。Tacet和hold是用于构建相反压力的词汇,有意为之,而不是在某些事件迫使其紧急时才做。设计原则现在争论比以后改造更便宜。 [如果你在想'推理模型在回答前已经进行了扩展计算'——是的,但这不完全是同一个主张。测试时推理优化以得到正确答案,然后丢弃草稿工作。延长音是关于保持可见的开放性而非安静地解决——更多计算不是重点;保留的、标记的不确定性才是。] 好奇大家怎么看——'非响应作为设计状态'是一个值得区分的概念,还是仅仅是一个加载旋转器的花哨说法?
查看原文

相似文章

最重要的AI失败可能是虚假自信,而非错误答案

Reddit r/ArtificialInteligence

本文认为,最危险的AI失败并非源于错误答案,而是系统基于不完整的数据、过时的上下文或糟糕的假设,以虚假自信行事。这表明AI评估应优先考虑处理不确定性的能力,而非原始智能。