智能的原子单元：压缩层视角

# 知识的原子单元：智能的压缩层

来源：https://arxiv.org/html/2607.12634

Pradyumna Swarnalatha RamannaAlexandros Vassiliades\\orgnameSeKond Brain AI Labs,\\orgaddress\\city伦敦,\\country英国

###### 摘要

本文提出了一个理论框架，将智能理解为一种原子压缩与组合复用的过程。我们认为，认知、生物、计算和组织系统通过将复杂现象分解为可复用的原子单元，并将其重组为高阶结构，从而实现可扩展的智能。本文借鉴认知科学、信息论、进化生物学、软件工程、医学、法律推理、教育、音乐和人工智能领域的证据，发展了原子单元的概念，将其作为支撑效率、迁移、可解释性和可进化性的基本压缩层。核心贡献在于提出了"压缩演算"这一形式化框架，用于比较表面级表示与原子级表示，并描述压缩增益如何在抽象层之间复合累加。我们引入了"复合级联"论点，即每个额外的抽象层会成倍地提高表示效率，而不仅仅是增加增量式的节省。本文进一步论证，当代人工智能系统常常在次优的表示层级上运行，依赖词元级处理或文档级检索，而非稳定的概念级原子结构。由此视角来看，大型语言模型的最佳理解方式并非作为完整的知识架构，而是作为能够导航、排序和组合原子单元的动态融合引擎。该框架为设计能够随时间发现、精炼和组合新原语的自演化知识系统奠定了基础。通过将智能重新定义为通过组合抽象实现的压缩过程，本文为专业知识、知识表示、可解释人工智能以及自适应智能系统的未来架构提供了统一的视角。

###### 关键词：原子知识单元，组合压缩，知识表示，检索增强生成，神经符号人工智能

††期刊：研究文章

\\authormark Sachin Dev Duggal等 \\authormark Sachin Dev Duggal 等

## 1 引言

当代人工智能系统在语言理解、推理、检索和决策支持任务中取得了显著性能[lee2009advances, brown2020language, lewis2020retrieval]。然而，许多当前架构仍然以非常细粒度的级别（如词元）或相对粗粒度的级别（如文档、文件、检索段落）来表示知识。尽管这些级别对计算有用，但它们并不一定对应于人类和专家系统组织、复用和组合知识时所使用的概念单元。这就造成了表示上的差距：虽然大型模型可能编码了大量信息，但这些信息被压缩、复用、迁移和组合所依赖的结构，往往仍隐而不显、不稳定或难以检视。

本文通过将原子单元作为智能的基本表示层来解决这一差距。所谓原子单元，是指可复用、可组合的原语，它们将复杂的表面级现象压缩为紧凑的结构，并能够组合成高阶表示。其直觉很简单：智能的运作方式似乎更像是用可复用的积木搭建，而不是从原材料开始建造。国际象棋专家将棋盘配置视为熟悉的组块[miller1956magical, chase1973perception]；医生将症状和检测结果压缩为诊断模式；程序员复用函数、模块和设计模式；数学符号将复杂运算压缩为符号形式。在这些领域，识别正确原语的能力似乎是高效推理、迁移和适应的核心，这与先前关于组块化、模块化和基于压缩的智能理论一致[simon1962architecture, solomonoff1964formal, kolmogorov1965three]。然而，现有方法缺乏对低级词元和高级文档之间的中间表示层的正式描述：即知识可以被压缩、复用、组合和评估的概念级原子单元。

因此，本文探讨如何正式描述和衡量将复杂知识分解为可复用原子单元所带来的表示优势。更具体地说，它考察原子表示是否可以视为压缩层，其收益是否可以量化，以及当原子单元组合成高阶结构时，压缩增益是否会产生复合效应。

### 1.1 动机

本工作的动机是亟需更结构化、可解释和可演化的知识架构，而不仅仅是更大规模的系统。单单扩大模型规模并不能解决知识应如何表示、更新、复用或组合的问题。特别是，主要依赖词元级预测或文档级检索的系统可能遗漏了有意义的知识单元出现的中间概念层。本文认为，发现并组织这类原子单元，是构建能够更高效推理、更清晰地解释其行为、并随时间适应其内部知识结构的AI系统的关键要求。

### 1.2 贡献

本文的主要贡献是提供了一个理论和方法框架，用于将智能分析为通过原子表示实现的压缩过程。更具体地说，本文贡献如下：

- • 引入了原子单元的概念，作为在认知、计算、生物和组织系统中表示知识的可复用、可组合原语。
- • 提出了压缩演算的形式化框架，用于比较表面级表示与原子级表示。
- • 定义了关键度量，包括原子压缩比、领域压缩比和组合压缩增益。
- • 提出了复合级联论点，即抽象层之间的压缩增益是成倍增加的，而不仅仅是累加。
- • 讨论了原子粒度与原子质量的重要性，展示了为何选择不当的原语会降低整个表示系统的有效性。
- • 在多个领域分析应用该框架，包括软件工程、客户服务、法律合同、医疗诊断、教育、音乐、金融、供应链、自然语言和数学。
- • 发展了该框架对AI架构的影响，特别是对神经符号系统、检索增强生成，以及大型语言模型作为导航和组合原子单元的动态融合引擎（而非自身作为完整的知识架构）的作用。

### 1.3 局限性

本文主要是理论性和方法性的。尽管它借鉴了已发表的实证发现和跨领域示例，但文中所讨论的压缩比应理解为分析性估计和说明性测量，而非最终实验结果。完整的实证评估需要对照研究，比较原子表示与替代表示（如原始文本、标准文档块或常规检索单元）的差异。

第二个局限性涉及原子单元本身的识别。该框架假设在一个领域内可以发现或定义有意义的原语，但最优粒度可能因任务、可用数据和系统预期用途而异。原子过小可能引入过多的组合开销，而原子过大则可能失去复用性和可解释性。

最后，该框架并未声称压缩本身对智能来说是足够的。压缩必须保持语义保真度，支持有效的组合，并能实现有用的预测或行动。因此，未来的评估不仅要测试原子表示是否减少了描述长度，还要测试它们是否保留了意义、改善了检索、支持了重组并带来更好的下游性能。

本文其余部分组织如下：第2节 (https://arxiv.org/html/2607.12634#S2) 回顾了关于认知组块与专长、智能的信息论视角、模块化与可进化性、神经符号AI、组合泛化以及大型语言模型与检索增强系统中知识表示的相关工作。第3节 (https://arxiv.org/html/2607.12634#S3) 提出理论基础，聚焦于原子单元、抽象、压缩、符号表示、认知组块与组合性。第4节 (https://arxiv.org/html/2607.12634#S4) 介绍所提出的方法，以压缩演算为中心，包括表面表示与原子表示、原子压缩比、组合压缩增益、复合级联、原子粒度、原子质量以及跨领域应用协议。第5节 (https://arxiv.org/html/2607.12634#S5) 在概念验证场景中对理论进行评估。第6节 (https://arxiv.org/html/2607.12634#S6) 讨论该框架对知识表示、基于LLM的系统、动态融合引擎和自演化原子库的影响，同时阐述局限性和未来工作。最后，第7节 (https://arxiv.org/html/2607.12634#S7) 总结论文。

## 2 相关工作

本工作建立在若干先前的研究路线之上，这些研究尽管源自不同学科，却汇聚于一个共同主题：智能系统常常通过将重复模式压缩为可复用、可组合的单位来管理复杂性。相关先前工作涵盖认知心理学、信息论、模块化与可进化性、符号与语言表示、检索增强语言模型、神经符号AI以及程序合成中的库学习方法。本节在介绍本文所发展的框架之前，回顾这些基础。

### 2.1 组块化、专长与认知压缩

认知科学文献提供了关于智能行为中压缩单元的最早、最直接的论述之一。米勒关于短时记忆限制的经典工作认为，人类工作记忆的约束不仅来自原始信息量，更在于一次可以容纳的有意义"组块"的数量[miller1956magical]。随后关于专长的研究表明，专家并不仅仅是比新手存储更多事实；相反，他们将领域特定经验组织成更高级的模式，这些模式可以作为单一认知单元被识别和操作。

国际象棋专长在这方面尤其具有影响力。蔡斯和西蒙表明，象棋大师回忆有意义的棋盘位置远好于新手，而他们对随机棋盘配置的优势则基本消失[chase1973perception]。这表明专家记忆依赖于结构化的模式识别，而非超常的一般记忆。戈贝特和西蒙后来将这一见解发展为模板理论，估计国际象棋专长涉及获取一个大型的领域特定组块库。类似的发现在其他专家领域也有出现：医生识别诊断模式，程序员使用代码惯用语和设计模式，放射科医生识别解剖结构，音乐家通过动机、乐句和和声进行来推理。

认知架构如ACT-R和SOAR也将组块作为核心表示单元，强化了组块样结构在智能行为中核心作用的观点[anderson1996act, laird2012soar]。超越国际象棋的专家-新手研究提供了进一步的证据。在物理问题解决中，Chi、Feltovich和Glaser表明，新手倾向于根据表面特征对问题进行归类，而专家则根据潜在物理原理进行分组[chi1981categorization]。医学推理研究同样表明，经验丰富的临床医生通过结构化的因果和诊断模型组织患者信息，而不是将症状视为孤立的观察[patel1986knowledge]。关于放射学专长的研究也显示，专家表现依赖于识别复杂视觉模式并将其组织成具有诊断意义的结构[lesgold1988expertise]。这些发现支持了更广泛的论点，即专长涉及压缩的、领域特定的表示单元，这些单元支持快速识别、迁移和推理。

### 2.2 压缩、预测与智能的信息论解释

第二个基础来自信息论和算法智能论。所罗门诺夫归纳和柯尔莫哥洛夫复杂性将预测与对数据紧凑描述的搜索联系起来[solomonoff1964formal, kolmogorov1965three]。在这种观点下，对现象的最佳解释通常是能够生成它的最短程序或表示。胡特尔关于压缩与智能的工作明确发展了这种联系，而施密德胡伯的压缩进步理论则将好奇心和创造力与压缩表示的改进联系起来[hutter2006prize, schmidhuber2009compression]。弗里斯顿的自由能原理同样将感知和行动框架化为最小化惊奇的过程，提供了适应性压缩的生物学解释[friston2010free]。

密切相关的另一工作是最小描述长度传统，它形式化了模型选择，即寻找在压缩数据的同时兼顾模型本身成本的表示[shannon1948mathematical, rissanen1978modeling]。这一视角之所以重要，是因为它将压缩从纯粹的句法属性转变为识别有用结构的标准：一个好的表示是去除冗余同时保留预测所需规律性的表示。信息瓶颈方法通过寻求保留与目标变量相关信息的压缩表示，发展了类似的想法[tishby2000information]。这些方法共同在经典信息论与现代表示学习之间架起了桥梁。

机器学习领域最近的工作加强了语言建模与压缩之间的联系。Deletang等人[deletang2024language]认为语言建模与压缩密切相关，表明预测模型可以解释为压缩器，而压缩性能提供了对所学结构的洞察。这一文献很重要，因为它表明压缩不仅是存储上的便利；它与预测、泛化和理解紧密相连。然而，这些解释本身并未规定知识系统正确的表示粒度，也没有充分说明压缩单元应如何组合成更大的结构。

### 2.3 模块化、组合性与可进化性

复杂系统文献提供了第三个基础。西蒙关于近乎可分解系统的论述认为