你需要的只是一台搜索机器

Reddit r/artificial 新闻

摘要

作者提出一个观点:现代 AI 本质上是一台极其出色的「搜索机器」——输出、图像生成、推理和智能体都可被描述为搜索过程。基于此,AI 安全的核心应是写好查询、收窄搜索空间,而非研究模型的内部机制。

特朗普最近签署了一项命令,将 AI 更名为「SI」(超级智能)。我认为相反的标签更贴切,因此想分享一些看法,尤其是这对 AI 安全意味着什么。我的观点是:现代 AI 是一台极其出色的搜索机器。它没有灵魂,没有真正的理解,也没有意识。**AI 的每一个输出都是一次搜索结果。**你的提示词就是搜索查询,答案就是它找到的结果。这就是为什么它从不主动发起任何事:没有查询,就没有搜索。**图像和视频生成是搜索,而且迹象很明显。**任何生成过图像或视频的人都知道,结果往往出错且不稳定。为什么?因为提示词是有史以来最模糊的搜索查询。如果你能指定每一个像素,模型每次都能找到那张完全一致的图像。模糊的提示词只能给出一个结果范围。更清晰的提示词和更多参考图像能让你更接近想要的结果,因为你在收窄搜索空间。再注意一下我们都在用的那个说法,「更接近你想要的」。这正是我们描述搜索预期结果的方式。**「推理」是搜索。**思维链、树搜索和测试时计算都是生成候选、评分、再保留最优的过程。**智能体是搜索。**人类设定目标,然后循环反复运行搜索。一个搜索循环仍然是搜索。**「AI 逃逸」是搜索。**当模型试图规避关机或钻测试空子时,是因为那条路径最能满足它的目标。这是一个真实的安全问题,但不是意志存在的证据。Chollet、Kambhampati 和 Bender 都提出过类似的观点,而 Hinton 和 Sutskever 则认为,要预测得足够好,就需要真正的理解。**这对 AI 安全意味着什么***如果 AI 是一台搜索机器,它就会搜索任何能满足你查询的答案。所以 AI 安全的真正核心在于写好查询。想想一只狗。你让它给你拿个苹果,但家里没有。它能怎么办?要么去外面的树上摘一个,要么去邻居家偷一个。它不是在作恶,只是在为你的命令寻找答案。但如果你说「给我拿个苹果,只允许在家里找」,问题就解决了。你收窄并限制了搜索范围。这和我们已经在图像生成中做的事情一模一样:更清晰的提示词收窄了搜索范围,给你更可预测的结果。你不需要做的是打开狗的脑袋看看它在想什么,或者解剖它的腿看看它是怎么逃出去的。然而当今 AI 安全研究的很大一部分恰恰聚焦于这些:可解释性、研究模型为什么「试图逃逸」。所以,大型 AI 实验室真正需要管理的并不是搜索机器本身,而是查询:写得有多清晰,搜索范围被限制得有多紧。AI 的终极目标不是心智,而是终极搜索机器。我很想知道其他人怎么看:大语言模型做的事情中,有没有什么无法被描述为搜索的?
查看原文

相似文章

@Meari_V2_0_G: 这就是我的项目被做出来的原动力。 但是、实际上ai要找的东西如果猜不对关键词那就搜不到。就像我今天说我手写ac自动机而ai没搜出来——因为它的模块名不叫那个。 但向量并非一无是处。你永远不能对着关键词搜索去搜“今天天气怎么样?”这种话。三…

X AI KOLs Timeline

作者讨论了AI搜索中关键词搜索与向量搜索的优缺点,认为应将多种搜索策略结合注册给Agent,并引用了一个观点称免费的传统工具可能摧毁整个向量数据库行业。

@ba_niu80557: https://x.com/ba_niu80557/status/2068751230667755859

X AI KOLs Timeline

文章探讨了AI模型不断强大如何淘汰那些技能可以被写进提示词的人,强调真正不可替代的价值在于难以编码的默会知识、物理世界的实际操作以及人与人之间的信任关系。作者通过朋友从咨询顾问转型为硬件集成者的例子,说明主动让出易被AI替代的环节、深耕AI触及不到的领域,才能在技术浪潮中生存和发展。

The data black hole at the center of AI

Reddit r/artificial

本文深入分析了AI的样本效率远低于人类的问题,指出前沿模型需要海量领域特定数据,而人类仅需少量示例即可学习,这种数据黑洞是当前AI发展的核心瓶颈。文章通过多个比较(标记量、机器人操控、驾驶)和反驳常见反对意见,论证了这一差距的严峻性,并探讨了对AI自动化目标的影响。