标签
本文针对逼近 Sobolev W^{n,∞} 单位球的 dropout ReLU 网络,建立了匹配的上下界逼近速率,并以保留概率 p、精度 ε 和置信度 δ 给出高概率下的网络规模界。此外,本文将下界推广到 L^s 误差意义下的 W^{n,r} 目标函数,而最优的保留概率依赖关系仍有待解决。
本文提出了一种关于ReLU网络的指数型深度层次结构,基于L2近似误差,证明更深的网络在函数近似上提供了指数级的表征能力提升。
本文证明了深层变分范数ReLU回归的极小极大风险对深度具有二次依赖关系,使用了局部打包论证和逼近定理。
本文建立了神经网络得分函数近似与基于得分的扩散模型中分布近似之间的严格定量联系,证明了准确的得分近似可以导致KL散度下紧密的分布近似,并给出了显式界。
本文证明,对于M>=3,每个向量值仿射细化算子的有限仿射迭代都有一个精确的固定宽度ReLU实现,深度为O(n),使用残差记忆控制器和偏移帧。该结果推广到任意紧支撑连续分段线性强制项。
本文研究了固定架构神经网络的显式参数-误差权衡逼近,利用中国剩余定理作为构造性编码机制,并获得了Lipschitz和Hölder光滑函数的显式界。
本文从理论上分析了领域泛化下线性Transformer的上下文学习,建立了与维度无关的收敛速率,并提出了用于线性化预训练softmax大语言模型的新型激活和损失设计。
本文提供了多输入神经算子在Sobolev范数下测量的近似误差和泛化误差估计,分析了多个输入函数(具有不同定义域和正则性)如何影响误差界,适用于偏微分方程和科学计算问题。
本文建立了神经算子的定量 Sobolev 逼近界,证明了算子可以以显式的复杂度-误差关系进行一致逼近。通过在 Burgers 方程上对 Fourier 神经算子(FNOs)进行验证,展示了 Sobolev 空间逼近理论能够准确预测其缩放行为。
本文提出了在线共享库存分配问题,并设计了一种确定性的阈值比例策略(GPA),该策略能达到离线最优解的 4/3 近似比。文章还介绍了一种学习增强型扩展方法,以处理不完美的预测,并在合成数据及真实世界实验中展示了其优越的性能。