拓扑空洞分析：知识空间中系统性技术创新发现的数学框架

# 系统性技术创新发现的数学框架：知识空间视角
来源：https://arxiv.org/html/2607.00005
摘要\.在操作系统或软硬件协同设计等密集技术领域中，确定创新方向本质上是一个高维知识空间中的搜索问题。现有方法依赖关键词搜索、引用邻近性或人类直觉，均未能形式化定义一个与目标相关且不存在于现有技术中的"未探索区域"。

我们提出**拓扑空洞分析**（Topological Void Analysis, TVA），一个在密集-稀疏混合嵌入空间中定义**拓扑空洞**为三元组 \(A,B,C\) 的数学框架。空洞需满足三个条件：(i) 概念 \(A\) 和 \(B\) 均与领域锚点 \(C\) 语义紧密； (ii) 它们的成对相似度落在校准后的边缘带内——既排除明显组合，也排除不相关噪声； (iii) 它们共享一个稀疏词汇桥，且嵌入超球面上的测地线中点未被占据。

应用于约 14 万篇索引文档后，TVA 在 96 个目标上生成了 2,128 个发明候选。其中 90% 通过了自动化质量过滤，经过四位专家对抗性评审得到 191 个 REVISE 和 1 个 APPROVE 判定（端到端通过率 0.05%）。两个案例研究表明，该框架挖掘的是非显而易见的关联结构，而非简单的相关配对。

## 1 引言

现代软件系统，尤其是系统软件层，通常通过增量式发明演化：开发者注意到两个子系统之间的缺口，提出一个抽象层来桥接它们，然后社区迭代直至形成补丁或专利。其中"注意到"这一步骤受限于人类注意力和领域广度。单个工程师无法同时掌握 Linux 调度器的锁语义、eBPF JIT 输出的内存排序保证、ELF 重定位模型以及 BPF 验证器的类型系统，以至于无法识别出 IFUNC 风格的分发契约可以统一后三者。

本文提出的问题是：**能否形式化并自动化地发现未探索的技术缺口？**

我们的答案是肯定的，并做出以下贡献：

1. 1.**拓扑空洞的形式化定义**（第4节 (https://arxiv.org/html/2607.00005#S4)）：在混合密集-稀疏嵌入空间中，满足领域凝聚、校准边缘性和稀疏词汇桥条件的三元组 \(A,B,C\)。
2. 2.**基于球面线性插值（SLERP）的空缺探测机制**（第5节 (https://arxiv.org/html/2607.00005#S5)），可拒绝那些中点已被现有文档占据的伪空洞。
3. 3.**自适应阈值校准流程**（第6节 (https://arxiv.org/html/2607.00005#S6)），从语料库统计量推导特定领域的边缘性界限，无需手动调参。
4. 4.**大规模实证评估**（第8节 (https://arxiv.org/html/2607.00005#S8)），包含两个详细案例研究，展示 TVA 能挖掘非显而易见但具有技术基础的创新候选。

## 2 背景与动机

### 2.1 技术知识作为嵌入空间

预训练嵌入模型将技术文档映射到高维单位球面\[7 (https://arxiv.org/html/2607.00005#bib.bib4)\]。余弦距离相近的点共享语义内容；距离远的点则无关。一个*知识语料库* \(\mathcal{K}\) 是这样一个点的有限集合。

从这一视角看，创新就是将两个尚未在 \(\mathcal{K}\) 中共现的概念 \(A\)、\(B\) 桥接起来，且它们的组合与目标 \(C\) 相关。

### 2.2 跨模型尺度的几何收敛

TVA 的一个关键理论基础是**柏拉图表征假说**（Platonic Representation Hypothesis）\[8 (https://arxiv.org/html/2607.00005#bib.bib22)\]：经过充分训练的模型——无论架构、模态或规模如何——都会收敛到其共享训练世界的共同统计几何。具体而言，紧凑嵌入模型（BGE-M3，1024维）与前沿大语言模型（LLM）的成对距离结构近似等距：如果在 BGE-M3 空间中 \(\cos(\mathrm{dense}(A),\mathrm{dense}(B)) \approx 0\)，那么同一对概念在 LLM 的隐式表示空间中也往往相距甚远。

这一收敛为 TVA 的设计提供了理论基础。在 BGE-M3 空间中识别出的拓扑空洞——即测地线中点未被占据的配对 \((A,B)\)——可作为前沿 LLM 推理空间中未充分探索区域的*统计可靠代理*。紧凑模型充当高效导航器；LLM 则提供高分辨率生成能力来填补所识别的缺口。通过 CKA\[10 (https://arxiv.org/html/2607.00005#bib.bib23)\] 形式化的跨尺度几何对齐在实证上支持了这一代理关系。

### 2.3 现有技术搜索的局限

传统的专利和现有技术搜索依赖关键词或引文驱动\[11 (https://arxiv.org/html/2607.00005#bib.bib11),15 (https://arxiv.org/html/2607.00005#bib.bib12)\]。这些方法检索的是*已知*内容，无法识别*缺失*内容。知识图谱补全方法\[2 (https://arxiv.org/html/2607.00005#bib.bib13)\]可预测缺失边，但需要预定义的关系模式，且无法建模专利非显而易见性中至关重要的连续"边缘性"概念。

### 2.4 边缘性原则

专利法要求发明必须是*非显而易见的*：与现有技术过于相似则缺乏新颖性，差异过大则导致不连贯或无法实现的公开。高价值发明位于*中等差异度*的频带内——既足够远离现有技术以体现新颖，又足够接近领域以具有实用性。这是我们形式化边缘性条件的非正式基础。

## 3 标准方法为何失效

在提出 TVA 之前，我们评估了三种检索基线方法，每种方法都以特征性方式失败。**余弦 top-k** 检索出相关但冗余的结果——全部来自同一覆盖良好的子系统，没有缺口概念。**MMR**\[3 (https://arxiv.org/html/2607.00005#bib.bib2)\] 提升了多样性，但无法提供占据保证：约 30% 的高 MMR 配对在其线性中点的余弦距离 0.08 范围内存在语料库近邻，因此是伪空洞。**潜在向量算术**\[12 (https://arxiv.org/html/2607.00005#bib.bib20)\]（\(v_{\mathrm{bridge}} = v_{\mathrm{target}} + (v_A - v_B)\)）在 1024 维上下文化空间中失败：各向异性\[7 (https://arxiv.org/html/2607.00005#bib.bib4)\] 使差向量几乎与语义轴正交，维度灾难\[1 (https://arxiv.org/html/2607.00005#bib.bib21)\] 剥夺了其方向意义——67% 的桥接向量完全脱离了语义流形。这三种方法都缺少显式的*占据检查*：它们对候选点进行排序或构造，但未验证该区域是否真正无人占据。这促使 TVA 中引入空缺探测机制。

## 4 拓扑空洞框架

### 4.1 符号约定

令 \(\mathcal{K} = \{k_1, \ldots, k_n\}\) 为技术文档语料库。每个文档 \(k \in \mathcal{K}\) 由 BGE-M3（\(d=1024\)）\[4 (https://arxiv.org/html/2607.00005#bib.bib1)\] 映射为密集单位向量 \(\mathrm{dense}(k) \in S^{d-1}\) 和稀疏词元集合 \(\mathrm{sparse}(k) \subset \Sigma^*\)（top-5 词汇权重）。

令 \(\cos(u,v) = u^\top v\) 对单位向量成立。令 \(\mathrm{Sparse}(k) = \{t \in \mathrm{sparse}(k): t \notin \mathcal{S}\}\)，其中 \(\mathcal{S}\) 是领域停用词列表（高频、低特异性词元，如 `int`、`define`、`linux`）。

### 4.2 形式化定义

###### 定义 1（拓扑空洞）

令 \(A, B \in \mathcal{K}\) 为两个语料库文档，令 \(C = m(\mathrm{dense}(A), \mathrm{dense}(B)) \in S^{d-1}\)（定义 2 (https://arxiv.org/html/2607.00005#Thmdefinition2)）为它们的合成*空洞中点*——即测地线桥接概念。若以下所有条件成立，则配对 \((A, B)\) 相对于领域查询向量 \(v_{\mathrm{target}} \in S^{d-1}\) 构成一个*拓扑空洞*：

C1（领域凝聚）
\[
\cos(\mathrm{dense}(A), v_{\mathrm{target}}) > \tau_{\mathrm{domain}}, \quad \cos(\mathrm{dense}(B), v_{\mathrm{target}}) > \tau_{\mathrm{domain}}
\]

C2（校准边缘性）
\[
\tau_{\mathrm{low}} \leq \cos(\mathrm{dense}(A), \mathrm{dense}(B)) \leq \tau_{\mathrm{high}}
\]

C3（稀疏词汇桥）
\[
\mathrm{Sparse}(A) \cap \mathrm{Sparse}(B) \neq \emptyset
\]
其中 \(\mathrm{Sparse}(k)\) 是文档 \(k\) 去除停用词后的 top-5 BGE-M3 稀疏权重集合（如第 4 节 (https://arxiv.org/html/2607.00005#S4) 所定义）。

C4（空缺）
\[
\max_{k \in \mathcal{K} \setminus \{A,B\}} \cos(\mathrm{dense}(k), C) < \theta_v
\]
其中 \(C = m(\mathrm{dense}(A), \mathrm{dense}(B))\) 是合成空洞中点（定义 2 (https://arxiv.org/html/2607.00005#Thmdefinition2)），\(\theta_v\) 是空缺阈值。

直观上：\(A\) 和 \(B\) 均指向目标领域（C1）；既非简单相似也非无关（C2）；共享至少一个有意义的科技词元作为概念桥（C3）；合成空洞中点 \(C\) 未被任何现有文档占据（C4）。待发明的思想位于 \(C\) 的邻域——两个相关但尚未探索的概念之间的缺口。

### 4.3 对空洞进行排序

有效的配对 \((A, B)\) 通过一个多目标评分函数 \(\mathcal{H}(A, B; v_{\mathrm{target}})\) 进行排序，该函数整合了 (i) 合成空洞中点 \(C = m(A, B)\) 与目标领域的相关性，(ii) 针对已选方案的重叠惩罚，以及 (iii) 以频带 \([\tau_{\mathrm{low}}, \tau_{\mathrm{high}}]\) 为中心的非线性边缘性奖励。具体的函数形式和权重因商业保密要求而省略，符合行业提交指南。

## 5 基于 SLERP 的空缺探测

纯粹基于相似度的方法的一个关键失败模式是*伪空洞*：两个文档看似跨越了一个空白区域，但其中点实际上接近某个现有文档。条件 C4 正是为了解决这一问题。

###### 定义 2（测地线中点）

对于单位向量 \(u, v \in S^{d-1}\)，设 \(\theta = \arccos(u^\top v)\)，则 \(S^{d-1}\) 上的测地线中点由 SLERP\[14 (https://arxiv.org/html/2607.00005#bib.bib5)\] 给出：

\[
m(u, v) = \mathrm{slerp}\left(u, v, \frac12\right) = \frac{u+v}{\|u+v\|}, \quad \theta \notin \{0, \pi\}
\]
对于对映向量（\(\theta = \pi\)），回退到 \(u\)。

我们使用测地线中点而非任意插值，是因为它在超球面上与 \(u\) 和 \(v\) 等距：\(\cos(m(u,v), u) = \cos(m(u,v), v)\)，从而保证空缺测试对两个锚点是对称的。对于非对映单位向量，这简化为归一化线性插值；SLERP 公式处理了退化情况，并与曲率空间中测地线中点的更广泛文献\[14 (https://arxiv.org/html/2607.00005#bib.bib5)\] 相联系。

空缺检查（C4）是对语料库矩阵与 \(m(A, B)\) 进行 \(O(n)\) 点积扫描，无需重建索引。

## 6 自适应阈值校准

静态阈值在不同密度分布的语料库中会失效。TVA 采用一个密度感知的校准层，根据当前查询候选池的经验分布动态推导 \(\tau_{\mathrm{domain}}\) 和 \([\tau_{\mathrm{low}}, \tau_{\mathrm{high}}]\)。

### 6.1 领域阈值 \(\tau_{\mathrm{domain}}\)

领域凝聚阈值结合了基于数据的百分位数统计（针对所有候选余弦得分分布）和一个语料库特定的下限。关键性质是 \(\tau_{\mathrm{domain}}\) 在密集区域升高，在稀疏区域降低，从而防止过于宽松的选择或空结果失败。具体参数化因保密要求而省略。

### 6.2 边缘性频带 \([\tau_{\mathrm{low}}, \tau_{\mathrm{high}}]\)

边缘性频带以领域凝聚候选的成对相似度分布的经验众数为中心，宽度由该分布的离散程度决定。这实现了非显而易见性的操作性定义：频带排除了高相似度尾部（明显组合）和低相似度尾部（不相关噪声），无需硬编码常数。值得注意的是，校准后的频带本身就是一个*领域特征刻画*：它量化了在目标技术空间中通常发生创新的成对语义距离，并且会因领域而异。跨领域频带比较留待未来工作。尺度参数因保密要求而省略。

## 7 系统实现

我们将 TVA 实现为一个原型系统，该系统摄入异构语料库：Linux 内核源码（通过 tree-sitter 解析为函数/结构体/符号片段）、硬件架构手册、学术论文（PDF 提取）以及专利文本。在去重后，语料库包含约 14 万篇索引文档。

**嵌入。** 我们使用 BGE-M3\[4 (https://arxiv.org/html/2607.00005#bib.bib1)\] 本地离线模式，同时生成密集（\(d=1024\)）和稀疏（top-\(p\) 词汇权重）表示。所有计算在 CPU 上运行。

**索引。** 密集向量存储在 FAISS 平面索引\[9 (https://arxiv.org/html/2607.00005#bib.bib3)\] 中，用于精确的 \(O(n)\) 相似性搜索。稀疏词元存储在 SQLite FTS5 倒排索引中，用于布尔共现查询。

**候选项生成。** 对于给定的目标短语，我们嵌入目标，检索 top-\(K\) 个领域凝聚候选（C1），枚举所有 \(\binom{K}{2}\) 个配对，并依次按 C2、C3、C4 过滤。存活的配对进行排序，返回 top-\(k\) 个作为空洞。

**创意生成。** 每个空洞被传递给一个前沿 LLM，附带结构化的指令提示，要求其提出一个桥接两个空洞概念朝向目标领域的技术发明公开（TID）。LLM 不会被告知评分细节，只接收空洞描述和目标。

## 8 评估

### 8.1 设置

我们在一个笛卡尔矩阵上运行 TVA，该矩阵包含 12 个目标领域（Linux 调度器、内存管理、文件系统、eBPF、虚拟化、网络、电源管理、设备驱动、IRQ 处理、CXL 内存、PCIe 和安全）与 8 个 x86 硬件特性区域（PEBS、AMX、TDX、CXL、APIC、RAPL、EPT、AVX-512）的交叉组合，共得到 96 个目标规范。对于每个目标，TVA 最多生成 10 个空洞三元组，每个三元组触发一次 LLM 调用以生成创意。

**质量评估。** 我们使用一个四阶段自动化过滤流水线作为专家评审的代理：

1. 1.**结构检查**：验证 JSON 完整性以及是否存在虚构的内核 API。
2. 2.**现实性检查**：进行最多 3 轮迭代式的批评与修订；拒绝物理上不