动态概念图：迈向人工智能的持久多模态世界模型

# 摘要 大型语言模型在语言生成、推理、编程和知识检索方面展现出前所未有的能力。然而，其智能仍受若干基本限制的制约：难以维持持久概念、推理不一致、因果理解薄弱、透明度有限，以及跨模态信息整合困难。以往的方法试图通过符号推理系统、知识图谱、本体和多模态神经网络来解决这些限制，但这些方法通常只解决了部分问题。本提案引入动态概念图（DCG），一种混合认知架构，结合了神经表示学习、符号知识结构、多模态感知和类比推理的优势。目标并非取代基础模型，而是为其提供一个持久化的语义基底：一个持续演化的接地概念网络。 ## 问题 当前AI系统在模式补全方面极为有效。然而，模式补全并不等同于构建一个稳定的世界模型。语言模型可能正确描述一把锤子，但其表示未必对应于一个具有以下特征的显式对象：物理属性、典型用途、与其他工具的关系、因果效应、历史背景、不确定性、视觉特征、可供性。人类遇到不熟悉的物体时，不需要完整定义。相反，我们会构建假设：“我从未见过这个物体，但它类似一种工具，功能类似于我知道的另一物体，出现在车间环境中，并且与用作敲击的物体共享属性。”这种能力依赖于结构化的概念关系。 ## 以往的方法 ### 符号AI 像SHRDLU这样的系统证明了显式表示能够实现推理。但这些系统在精心限定的环境中运行，难以应对开放世界复杂性。 ### 知识库 Cyc等项目试图显式编码常识知识。但局限性在于可扩展性：人工创建的知识结构需要巨大努力且难以维护。 ### 语义网络 WordNet等资源展示了概念之间结构化关系的价值。然而，仅凭分类关系是不够的。知道锤子是工具并不能解释它如何与世界交互。 ### 神经语言模型 现代Transformer架构通过从海量数据集中学习统计关系，解决了许多以前被认为困难的问题。然而，知识仍然是分布式的，难以检查，也难以更新。 ### 多模态模型 视觉-语言系统连接了图像和语言，但通常不创建跨模态共享的持久概念对象。 ## 提议的架构 动态概念图将概念视为一等实体。概念不仅仅是词嵌入，它是一个不断演化的结构，包含：语言表示、视觉原型、物理属性、可供性、分类法、因果关系、上下文关联、不确定性估计、示例和反例。 示例： - 名称：锤子 - 类型：工具 - 相关：槌子、钉子、木头、车间 - 可供性：可敲击、可施加力、需要手部操作 - 物理属性：坚硬、便携、通常为金属/木质 - 历史：源自早期石器工具 ## 架构 多模态输入 → 感知层 → 动态概念仓库 → 关系引擎（分类、因果、可供性、类比、物理） → 推理引擎 → 语言模型接口 ### 概念形成 未知物体应以不确定的假设开始。 示例： - 未知物体：“blicket” - 初始状态：便携物体: 80%，工具: 60%，装饰品: 25%，食物: 5% - 新的观察更新概念。它们不是固定的定义，而是不断演化的概率分布。 ### 类比推理 一个主要能力是通过相似性进行推理：“如果A类似于B，并且B与C有关系X，那么A也可能与C有关系X。”这支持在无需先前直接经验的情况下对新颖物体进行推理。 ## 研究路线图 - **阶段1**: 在单一领域（如家居物品、动物或工具）中创建小规模概念图。 - **阶段2**: 将现有的视觉和语言模型连接到该图。 - **阶段3**: 开发自动化概念更新，使模型能在发现新信息时更新图。 - **阶段4**: 针对类人学习任务进行评估，如新词学习、不熟悉物体推理、因果推断和类比问题。 ## 结论 AI的下一次进步可能不仅仅来自增加模型规模。它可能来自赋予人造系统类似于概念记忆的东西：一个持久、可修正、多模态的世界模型。动态概念图提供了一个框架，将符号AI和神经AI的优势结合起来，形成一个不仅能学习模式，还能学习概念的系统。 **注**：我目前正在思考如何最好地构建这个图……一种混合数据库/文件目录系统，使得重复概念保持一致，同时单个概念也能保持连接： ``` DynamicConceptGraph/ ├── Core/ │ ├── concepts.db (节点、类别、定义) │ ├── relationships.db (边、谓词、置信度值) │ └── ontology.db ("哺乳动物意味着..." 继承规则) │ ├── Memory/ (原始证据和来源，包括时间数据，例如事实何时变得有效或改变) │ ├── observations/ │ │ 2026-07-07.json │ │ 2026-07-08.json │ │ │ ├── experiences/ │ └── conversations/ │ ├── Reasoning/ (推理链和推导出的结论) │ ├── inference_engine/ │ ├── reasoning_history/ (包括贝叶斯概率更新) │ └── confidence_updates/ │ └── Concepts/ ├── Dax/ │ ├── summary.json │ └── semantic_genome.json (压缩的概念身份) │ ├── Blicket/ │ ├── summary.json │ └── semantic_genome.json ``` 可能还需要某个 `uncertainties.json`（未解决的问题、缺失信息、未解决的概念）。早期的模型需要人们手动填充所有这些……我觉得LLM现在可以处理其中的大部分工作，就像一名人类学生一样，我们可以直接给这个新模型做一个测试。由于这个新系统不仅仅是“自动补全”，你可以检查它是否错误地学习了概念并加以调整。还是说我完全搞错了？