训练、学习和推断:神经系统的统一动力学
摘要
本文提出了一种统一的动力学框架,用于神经系统的训练、学习和推断。
arXiv:2608.20965v1 公告类型:新
摘要:我们定义了一个原子生成事实 f=(u,tau,omega,z;rho),记录了起源、实现的转换、具体发生、生成结果和关系角色。将这些事实编译成生成事实图(GFG),提供了AI原生的、可编译的科学事实基底,保留了生成历史。我们建立了一个基于GFG的递归科学过程,其中分析、干预、重放和验证形成后续周期的事实。使用nanoGPT,我们建立了统一的训练-学习动力学。训练是具有状态和记忆的参数-优化器系统的演化:每个实际的训练动作进入接收状态,并产生有限幅度的非线性功能响应,该响应由该状态和目标特定的更新几何所条件化。学习是这些响应对分布式功能支持的持续重组;当目标特定状态相对于其读出边界进行评估时,能力形成、维持、下降或恢复变得可观察。三个主要坐标——目标边界状态、目标特定更新几何和参数-Adam接收状态——产生一个二阶预测器,在更新后输出被读取之前运行。在留出运行中,它在四个转换上达到了91.43%的准确率和91.49%的宏平均召回率。我们进一步将推断建立为训练-学习动力学的冻结投影。组件门控和回滚显示了因果招募和查询条件支持的非加性组合,这些支持在训练期间形成,推导出由Attention实现的组织条件。受控反馈表明可能的双刃强化效应。ResNet/CIFAR-100和扩散/CIFAR-10实验证实了接收状态条件化的响应、持续支持重组和超出nanoGPT的冻结推断投影。
查看缓存全文
缓存时间: 2026/08/24 04:34
# 神经系统的训练、学习与推理:统一动态机制 来源:https://arxiv.org/abs/2608.20965 文献工具 ## 文献与引文工具 文献浏览器开关 代码、数据、媒体 ## 与本文关联的代码、数据及媒体 演示示例 ## 演示示例 相关论文 ## 推荐与检索工具 IArxiv推荐器开关 关于arXivLabs ## arXivLabs:与社区协作者共同探索的实验性项目 arXivLabs是一个框架,允许协作者直接在我们的网站上开发和分享新的arXiv功能。 所有使用arXivLabs的个人与组织都认同并接纳我们关于开放、社区、卓越与用户数据隐私的价值观。arXiv致力于践行这些价值观,并仅与遵循相同价值观的合作伙伴开展协作。 有能为arXiv社区创造价值的项目创意?**了解更多关于arXivLabs的信息** (https://info.arxiv.org/labs/index.html)。
相似文章
用于动力系统重构的循环神经网络的时间并行训练
本文研究了用于动力系统重构中训练循环神经网络的时间并行算法,提出了GTF-DEER,它能够在长序列上实现稳定学习,并提高重构精度。
大脑如何学习 [R]
本文提出了一个新皮层学习框架,满足计算、算法和实现三个层面的合理性标准,通过时间导数和皮层-丘脑回路实现基于错误驱动的预测学习,并指出了相对于反向传播的潜在改进。
机械场网络:面向多变量系统的结构化神经动力学
本文介绍MF-Net,一种循环动力学模型,通过共享场状态表示多变量系统,并学习用于联合演化的机械转移。它在实现有竞争力的预测的同时,还能对学习到的关系进行可解释的结构化读取。
驱动信息系统中的相变:学习理论与非平衡化学的双场视角
本文提出了一个统一的理论框架,用于描述深度学习中的相变(grokking、涌现能力)和非平衡化学中的相变,将两者描述为受两个梯度场控制的驱动信息系统。
集体动力学中环境与相互作用力的同步推断
本文提出了一种非参数变分学习框架,能够同步推断集体动力学中的相互作用核与环境力,并在基准模型上通过模型选择程序进行了验证。