超立方体、超平面与原子概念学习中的约束诱导复杂度坍缩
摘要
这篇理论论文通过超立方体和超平面的几何来研究原子概念学习,表明在除全对角线之外的大多数超平面上,复杂度会一致坍缩,而在全对角线上复杂度则无界增长。文中提供了超平面行为的分类学,以及完整的二元和三元案例分析。
arXiv:2608.02930v1 公告类型:新
摘要:我们通过基实例的超立方体和超平面几何来重新审视高元原子概念学习。我们的出发点是观察到基原子的环境 r 维超立方体在结构上并不均匀。其逻辑复杂度由超平面组织:除全对角线外的每个超平面都坍缩为有限多个初等等价类,其界限不依赖于项深度,而全对角线则是例外,其类数无界增长。这种不对称性不仅仅是几何上的。它反映了概念本身的归约理论结构。基于作者早期工作中发展的高维框架,我们通过典型简单概念、最小序和代表性归约重新解释这些结果。由此得到高维中超平面行为的分类学,并表明复杂度是局部化的,而非均匀分布在实例空间中。本文包含一个完整处理的二元情形、三元超立方体的显式处理,以及驱动坍缩的归约机制的详细说明。三维情形已经展现出正交族、部分对角线和例外全对角线的本质现象。这种几何-逻辑视角澄清了原子概念学习中复杂度的集中位置,并为约束假设空间和结构化分类提供了现代解释。
查看缓存全文
缓存时间: 2026/08/05 07:38
Source: https://arxiv.org/html/2608.02930 11institutetext:National University, San Diego, United States 11email:[email protected] ###### 摘要 我们通过基实例的超立方体和超平面的几何来重新审视高元原子概念学习。我们的出发点是这样一个观察:基原子所在的环境 \(r\) 维超立方体在结构上并不是均匀的。它的逻辑复杂度由超平面组织起来:除全对角线以外的每个超平面都坍缩为有限多个初等等价类,且这个界不依赖于项深度;而全对角线是例外的,其类数无界增长。这种不对称不仅仅是几何上的;它反映了概念本身在归约理论上的结构。 在作者早期工作建立的高维框架基础上,我们通过规范简单概念、最小序和代表归约来重新解释这些结果。这给出了高维中超
相似文章
从超平面到超椭球:线性与单量子比特混合态二分类模型的内在可解释性表征
本文系统表征了线性模型与单量子比特混合态模型在二分类任务中的内在可解释性差异,揭示了量子模型学习的是超椭球而非超平面,并探讨了这一发现对归纳偏置及教学法的启示。
设计驱动的Neural Collapse: 超球面上的类别原型学习
本文表明,交叉熵和监督对比学习都是超球面上的原型学习形式,并提出了归一化损失函数(NTCE和NONL),这些损失函数通过设计实现Neural Collapse,性能优于标准方法。
Complexity Ceiling Benchmark:深度缩放下的多领域顺序推理评估
介绍复杂度天花板基准(CCB),该基准评估LLM推理能力随顺序步骤增加而衰减的情况,涵盖三个领域。研究发现一致的每步几何衰减,并且所有模型在传递性社会逻辑中在5步内崩溃,即使整体准确性很高。
大语言模型能遵循指令,但无法同时遵循多条:组合约束满足中的相变
本文介绍了约束饱和评估(CSE),这是一个程序化基准,用于测试LLM在1-12个同时约束下的表现,发现单个约束的通过率逐渐下降,但联合成功率在超过5-6个约束时崩溃,约束类型之间耦合较弱,推理时策略几乎无法缓解。
几何冲突:解释并控制大模型持续后训练中的遗忘
本研究探讨了任务几何如何影响大模型的持续后训练,识别出“几何冲突”是导致遗忘的原因,也是控制更新整合的机制。作者提出了一种无需数据的方法——几何冲突 Wasserstein 合并(GCWM),该方法在各种规模的模型中均能提升保留率和性能。