语义场理论:历史起源、高阶交互与稳定语义推理

arXiv cs.CL 论文

摘要

本文介绍语义场理论(SFT),这是一种用于词汇语义的计算模型,通过语义场、语境变形、交互项和能量最小化来建模意义。提供了包括高斯积闭包、用于高阶交互的莫比乌斯反演和稳定性条件在内的形式化元素。

arXiv:2607.20451v1 公告类型:新论文 摘要:语义场理论(SFT)是从对语言游戏的强反形式主义解读的哲学批判发展而来,成为一种针对词汇语义、高阶组合与稳定解释的计算模型类。本文重构了这一演化过程,并为SFT提供了更精确的数学核心,适用于计算语言学和表示学习中的独立评估。核心主张是,语言组织中一个可处理的层次可以通过以下方式建模:表示为语义场的词汇表征、这些场的语境变形、定义在令牌子集上的交互项,以及由语义能量动力学驱动的稳定化。本文贡献了五个形式化元素。第一,将语义场模型定义为一个元组,包含语义空间、词汇场提升、语境变形映射、交互复形和解释泛函。第二,证明了一个高斯积闭包结果,表明乘法场交互具有明确的中心、精度和相容性因子。第三,通过使用子集格上的莫比乌斯反演来推广三词问题,以分离任意阶的不可约语义交互。第四,引入了一个阶谱,用于衡量每个交互阶解释了多大的场质量。第五,将稳定解释形式化为与句子相关的能量泛函的最小化,并给出了存在性、下降和稳定性条件。一个小型工作示例展示了如何用高斯语义场表示一个三词夏日三联(summer day triple),用Python实现,并用流程图总结。结果并不是一个完整的自然语言意义理论,也不取代语言的社会、语用或规范解释。
查看原文
查看缓存全文

缓存时间: 2026/07/24 05:16

# 历史起源、高阶交互与稳定化语义推断
来源:https://arxiv.org/html/2607.20451
Dimitris Vartziotis1,2  
1 NIKI – 数字工程,约阿尼纳,希腊  
2 TWT 科学与创新,斯图加特,德国  

\(2026年5月\)

###### 摘要

语义场论(Semantic Field Theory, SFT)源于对语言游戏强反形式主义解读的哲学批判,并逐步发展为一类用于词汇语义、高阶组合与稳定化解释的计算模型框架。本文重构了这一演化历程,并为SFT赋予了更清晰的数学核心,使其适合在计算语言学和表示学习领域进行独立评估。核心主张是:语言的可行组织层面可以通过语义场表达的词汇表示、这些场的上下文形变、定义在令牌子集上的交互项,以及由语义能动力学主导的稳定化过程来建模。本文贡献了五个形式要素。第一,定义了一个语义场模型,其为一个由语义空间、词汇场提升、上下文形变映射、交互复形以及解释泛函组成的元组。第二,证明了一个高斯乘积封闭性结果,表明乘法场交互具有显式的中心、精度和兼容性因子。第三,通过子集格上的Möbius反演将三词问题推广,以分离任意阶的不可约语义交互。第四,引入了一个阶谱,用于衡量每个交互阶解释了多少场质量。第五,将稳定化解释表述为与句子关联的能量泛函的最小化,并给出了存在性、下降性和稳定性条件。一个小型工作示例展示了如何用高斯语义场表示“summer day”三词组合,用Python实现,并用流程图总结。结果并非一个完整的自然语言意义理论,也不取代语言的社会、语用或规范说明。它是一个关于某个表示层面的数学显式假设:公共语言使用如何可能产生稳定的几何、交互和动力学规律,这些规律可以被估计、消融并与Transformer模型进行比较。

## 1 引言

语言意义的数学研究经历了几种范式。分布假设将词汇意义视为上下文出现模式(Harris, 1954 (https://arxiv.org/html/2607.20451#bib.bib12); Firth, 1957 (https://arxiv.org/html/2607.20451#bib.bib10))。向量空间语义学使该假设变得几何化和计算化(Turney and Pantel, 2010 (https://arxiv.org/html/2607.20451#bib.bib27))。组合分布语义学进而探究如何从词汇表示构建短语和句子意义(Mitchell and Lapata, 2008 (https://arxiv.org/html/2607.20451#bib.bib20), 2010 (https://arxiv.org/html/2607.20451#bib.bib21); Coecke et al., 2010 (https://arxiv.org/html/2607.20451#bib.bib7); Grefenstette et al., 2011 (https://arxiv.org/html/2607.20451#bib.bib11))。神经嵌入使密集语义几何变得经验上强大(Mikolov et al., 2013 (https://arxiv.org/html/2607.20451#bib.bib19); Pennington et al., 2014 (https://arxiv.org/html/2607.20451#bib.bib22))。上下文编码器和Transformer将表示单元从词类型转变为嵌入在话语中的令牌(Peters et al., 2018 (https://arxiv.org/html/2607.20451#bib.bib23); Devlin et al., 2019 (https://arxiv.org/html/2607.20451#bib.bib8); Vaswani et al., 2017 (https://arxiv.org/html/2607.20451#bib.bib33))。大型语言模型随后表明,广泛的语言规律可以被优化、迁移并用于大规模通用语言行为(Kaplan et al., 2020 (https://arxiv.org/html/2607.20451#bib.bib15); Brown et al., 2020 (https://arxiv.org/html/2607.20451#bib.bib5); Bommasani et al., 2021 (https://arxiv.org/html/2607.20451#bib.bib3))。

这一发展引出了一个既科学又哲学的问题:数学结构仅仅是语言方便的外部表示,还是它们揭示了语言使用本身产生的稳定组织层面?强回答将是形而上学的,对本文而言并不必要。一个较弱且科学上有用的回答就足够了:公共语言使用似乎引出了可以用几何、交互和动力学表示的规律性。这些规律性并不解决指称、锚定、语用或规范性问题(Bender and Koller, 2020 (https://arxiv.org/html/2607.20451#bib.bib1); Bender et al., 2021 (https://arxiv.org/html/2607.20451#bib.bib2))。然而,它们构成了计算理论的一个合法对象。

语义场论(SFT)被提议为这样一种理论。从最早的哲学阶段开始,SFT就受到这样一种直觉的引导:词汇意义的行为更像一个分布式的语义场,而不是一个离散的符号原子或孤立的向量表示。因此,一个词汇项不应该仅仅表示为点、符号或单一向量,而应该表示为语义空间上的分布场;话语不应该仅仅表示为词汇项的和,而应该表示为令牌子集上的交互场;解释不应该仅仅视为静态对象的检索,而应视为句子条件化能量景观中的稳定化。这一直觉的早期形式在关于维特根斯坦和语言游戏的哲学工作中得到了发展(Vartziotis, 2012 (https://arxiv.org/html/2607.20451#bib.bib28), 2017 (https://arxiv.org/html/2607.20451#bib.bib29))。后来的一份预印本明确阐述了语言游戏反形式主义与语言作为数学结构之间的对立(Vartziotis, 2026 (https://arxiv.org/html/2607.20451#bib.bib32))。本文迈出了下一步:它将SFT重构为一个不断发展的形式化项目,并提供了一种数学上巩固的模型类。

这一贡献不仅是历史性的。本文引入了若干技术元素,使SFT作为计算假设更加成熟。首先,它定义了一个*语义场模型*为映射和函数空间的元组。其次,它用高斯场代数取代了仅仅是隐喻的场交互概念,包括交互中心和兼容性因子的闭合形式乘积法则。第三,它通过子集格上的Möbius反演推广了三词问题。第四,它引入了一个*阶谱*,这是一阶、成对、三阶及更高语义残差的可测量分布。第五,它通过能量最小化定义了稳定化解释映射,并给出了基本的存在性、下降性和扰动稳定性结果。包含一个简短工作示例,使形式化机制在三令牌话语的简单情况下可执行和可检查。

因此,本文的预期地位是精确的。SFT并不声称是自然语言的完整语义学。它是针对特定语义组织层面的一个形式模型类:分布式词汇影响、上下文相关形变、高阶交互和稳定化推断。这一层面与使用理论和社会的意义解释兼容,但并不仅限于此。其价值应由其是否产生可估计参数、可解释诊断和可区分的经验后果来判断。

#### 组织方式。

第2节 (https://arxiv.org/html/2607.20451#S2) 重构了SFT的历史发展。第3节 (https://arxiv.org/html/2607.20451#S3) 阐明了语言游戏、分布结构和形式语义之间的关系。第4节 (https://arxiv.org/html/2607.20451#S4) 定义了语义场模型。第5节 (https://arxiv.org/html/2607.20451#S5) 发展了高斯交互代数。第6节 (https://arxiv.org/html/2607.20451#S6) 给出了一个使用三词“summer day”组合的最小计算示例。第7节 (https://arxiv.org/html/2607.20451#S7) 给出了高阶组合的残差理论。第8节 (https://arxiv.org/html/2607.20451#S8) 将解释视为能量最小化。第10节 (https://arxiv.org/html/2607.20451#S10) 将SFT与Transformer表示联系起来。第11节 (https://arxiv.org/html/2607.20451#S11) 提出了经验测试。第12节 (https://arxiv.org/html/2607.20451#S12) 说明了局限性。

## 2 SFT的历史演化

SFT并非起源于对当前大型语言模型的回应。其最早的动机是哲学性的:抵抗这样一种推论——因为意义是公共的、社会的和受使用支配的,所以寻找内在语义结构必然不合法。这一发展可以总结为一系列越来越明确的表述。

表1:SFT历史发展的紧凑重构。早期作品在此被视为概念先导,而非当前模型的完整技术实现。第一阶段是哲学定向。后期维特根斯坦强调语言作为公共实践、遵循规则和参与语言游戏(Wittgenstein, 1953 (https://arxiv.org/html/2607.20451#bib.bib37))。这仍然是任何意义解释的必要约束。然而,这一公共特征禁止形式内在结构的更强主张并不成立。早期SFT的直觉是,使用和结构应该分析性地分开:使用提供了意义的公共基础,而重复使用也可以产生数学上可表达的稳定模式。

在SFT的早期哲学阶段,已经出现了词汇场与语言场之间的区分,尽管尚未使用正式数学语言。词汇场对应于与词类型相关的分布式语义潜能。语言场对应于词汇场被共同激活时产生的话语级交互系统。这种区分至关重要,因为它防止SFT退化为每个词一个向量的语义学。它也防止该理论将句子意义等同于简单聚合。

第三阶段是LLM时代的重新解释。基于Transformer的系统既没有证明语言可还原为向量,也没有解决意义的哲学问题。然而,它们确实表明,大规模语言使用包含稳定的、可学习的高维规律性。这一观察削弱了强反结构禁令,并激发更详细的形式化解释。这一更广泛的重新解释在作者即将由Literareon – Utz Verlag出版的两本书中得到了进一步发展:《维特根斯坦与语言游戏的终结:数学语义学、场理论与预测语言模型时代》,以及《LLMs的革命:哲学与数学的共轭》。这些著作将SFT的哲学含义扩展到当前计算公式之外,并考察预测语言模型如何重塑关于意义、结构和语言表征的传统辩论。

本文是第四阶段。它将SFT视为一个可估计数学模型的家族,而非一句口号。历史主张是谦逊的:SFT始于哲学批判,现在被重新表述为一个计算假设。科学主张同样谦逊:如果这一假设有意义,它应该产生可估计和可消融的量,例如场重叠、残差交互质量、能隙和稳定化轨迹。

## 3 使用、结构与解释层面

一个反复出现的混淆来源是“内在结构”这一短语。如果它意味着独立于公共标准的私人心理对象决定意义,那么SFT并不需要它。如果它意味着公共语言使用所诱发的数学上可描述的规律性,那么拒绝它既无必要,在科学上也有代价。

因此,我们区分四个层面。

1. **规范-语用层面**。意义在公共语言实践中被学习、纠正和稳定化。这是语言游戏方法强调的层面(Wittgenstein, 1953 (https://arxiv.org/html/2607.20451#bib.bib37); Kripke, 1982 (https://arxiv.org/html/2607.20451#bib.bib16))。
2. **分布层面**。重复使用在上下文、共现、替换和蕴涵模式中留下统计规律性(Harris, 1954 (https://arxiv.org/html/2607.20451#bib.bib12); Firth, 1957 (https://arxiv.org/html/2607.20451#bib.bib10); Turney and Pantel, 2010 (https://arxiv.org/html/2607.20451#bib.bib27))。
3. **几何-场层面**。分布规律性可以在语义空间中表示为场、距离、重叠、位移和交互结构。
4. **动力学-计算层面**。解释可以建模为一个过程,在句子条件化场下朝着稳定状态演化。

SFT是第三和第四层面的理论。它受第一层面约束,并由第二层面提供信息。这种分层观点对于科学成熟性很重要,因为它避免了两种还原:将意义仅仅还原为社会实践,以及将意义仅仅还原为隐藏向量。SFT的对象更为狭窄:那些可以通过词汇和话语级意义进行近似、组合和动态稳定化结构化的表示性规律性。

## 4 作为模型类的语义场论

令 \(\mathbf{w} = (w_1, \ldots, w_m)\) 为一个令牌序列,且 \([m] = \{1, \ldots, m\}\)。令 \(S \subseteq \mathbb{R}^n\) 为具有欧几里得范数 \(\|\cdot\|\) 的语义空间。该空间不是意义的本体论容器;它是用于语义邻近性、形变、交互和动力学的形式域。

###### 定义 1(语义场模型)。

一个 \(p\) 阶语义场模型是一个元组

\[
\mathfrak{M}_p = (S, \mathcal{V}, \ell_\Theta, D_\Theta, \mathcal{K}_p, \Lambda_\Theta, U_\Theta),
\]

其中 \(S \subseteq \mathbb{R}^n\) 是语义空间,\(\mathcal{V}\) 是词汇表,\(\ell_\Theta\) 将词汇类型映射到基场,\(D_\Theta\) 将基场映射到上下文形变后的令牌场,\(\mathcal{K}_p(\mathbf{w})\) 是一个包含 \([m]\) 中大小至多为 \(p\) 的子集的交互复形,\(\Lambda_\Theta\) 分配句子条件化的交互系数,而 \(U_\Theta(\cdot \mid \mathbf{w})\) 是解释能量。

该定义分离了早期讨论中常常隐含的五个角色:词汇结构、上下文形变、交互选择、交互加权和解释。每个角色可以由符号、神经、概率或混合机制实例化。

### 4.1 词汇场提升

令每个词汇类型 \(t \in \mathcal{V}\) 有一个基嵌入 \(z_t \in \mathbb{R}^{d_z}\)。一个词汇提升映射将 \(z_t\) 发送到场参数

\[
c_t = W_c z_t, \tag{1}
\]
\[
a_t = \operatorname{softplus}(w_a^\top z_t + b_a), \tag{2}
\]
\[
\Sigma_t = \operatorname{diag}\big( \operatorname{softplus}(W_\Sigma z_t) + \delta \mathbf{1} \big), \quad \delta > 0. \tag{3}
\]

对于一个令牌出现 \(w_i = t\)……

相似文章

LLM引导的任务语义场分解用于工业过程预测

arXiv cs.LG

本文提出任务语义场分解(TSF),一种LLM引导的框架,利用过程文档的离线语义构建来增强工业过程中的时间序列预测和软测量。TSF在几乎不增加参数和推理开销的情况下,平均降低了6.4%的MAE。

科学概念的计算概念史:从早期数字方法到大语言模型

arXiv cs.CL

本文将大语言模型置于科学史、科学哲学与科学社会学(HPSS)领域概念分析计算方法的宏观历史背景之中,系统回顾了词汇语义变化检测的方法论挑战与基于大语言模型的案例研究,涵盖前大语言模型时代与大语言模型时代工作流程中的语料库构建、操作化及评估方法。

基于超球面流的语言建模

arXiv cs.LG

本文介绍了 S-FLM,一种新颖的基于流的语言模型。该模型在超球面潜在空间中运行,旨在解决现有离散扩散模型和连续流模型的计算成本高昂及语义表达受限等问题。