我们不需要打造拥有强大大脑的 AI,它们只需使用一张地图(AI 模型概念)

Reddit r/artificial 新闻

摘要

作者提议用小模型取代大型“无所不知”的 AI 模型,让小模型在由检索智能体构建、存储于外部的知识“地图”中导航,以存储空间换取内存,同时保持结果的可重复性。文章权衡了这一构想的利弊,并邀请大家参与讨论。

大参数模型实在是太大了。它们确实都是能力很强的模型,astra、Claude、kimi,但它们有什么共同点呢?它们主要都把完成任务所需的全部知识装在自己的“大脑”里,而我们也看到,一些更小的模型正在展现出大型模型的能力,并不需要数十亿个参数。有两个人去参加考试,一个是书呆子,没日没夜地学习,很可能会考出高分;另一个是个糊涂蛋,这家伙相当随性,脑袋里却没多少东西,对考试也完全不在乎。教授看到这个糊涂蛋,觉得他挺可怜,于是破例允许他带一张写着笔记的纸参加考试。通常情况下,这个糊涂蛋会挂科,但有了这张小抄,他的智力就没那么重要了。不需要死记硬背,只要对基本概念有个初步理解,对吧?假设教授没有限制考试时能带多少笔记。到了某个程度,这个糊涂蛋究竟可以少懂多少东西,只靠照着笔记做就行?我们想打造的,不是一颗无所不知的大脑,而是一颗知道如何在一切知识中找到路径的大脑。这个糊涂蛋当然没法自己写笔记,但他可以雇别人替他制作这张“地图”。所以,我的想法是这样的。让一个 rlm 深入探索图书馆或数据库,构建一张地图。然后,由一个经过工具调用训练的小模型使用这张地图,调用工具来探索它。这样,小模型就能回答关于地图所提供信息的任何问题。这个想法的优点:结果可以复现,因为模型的权重可以按需要随意变化,但地图保持不变,路径也保持不变。地图不需要放在显存或内存里,而是可以放在存储设备上。模型自身需要掌握的知识,远少于原本需要通过训练学会的知识,而且无论地图里包含什么内容,它都可以靠“作弊”达到全面理解。有了完整的地图,我们就几乎能以一种精确的方法,训练一个 llm 熟练掌握任何语言,无论是编程语言还是自然语言。学科和技能也一样。缺点:我们是在用存储空间换内存,所以地图有多大,就会占用多少存储空间。尝试为一座图书馆或一门学科绘制地图,可能需要新的概念组织方法才能解决。应该还有更多缺点,但我暂时想不出来。很期待听到大家的回应。
查看原文

相似文章

智能体是否需要与知识库分离的“大脑”?

Reddit r/AI_Agents

作者提出一个思维模型:AI智能体应维护一个独立的记忆层(大脑),用于存储可复用的理解,与知识库(图书馆)区分开来,以避免反复重新发现相同的信息。

智能体AI记忆不是囤积问题,而是剪枝问题。

Reddit r/AI_Agents

作者认为,AI代理的记忆应侧重于数据剪枝而非囤积,借鉴人类记忆类型(感觉记忆、短期记忆、长期记忆),并指出模仿人类记忆可以在减少令牌用量的同时维持高质量上下文。