重新思考神经非线性：门控机制

arXiv cs.LG 论文
activation-functions threshold-gating neural-networks model-compression deep-learning hardware-implementation

摘要

本文提出阈值门控（TG）作为神经非线性的统一原语，表明标准激活函数可以表示为TG的实例。作者通过将预训练模型在各种架构间转换而不进行重新训练来验证其方法，并讨论了硬件优势。

arXiv:2607.03148v1 公告类型：新 摘要：激活函数被认为是神经非线性的基本原语，即它们使神经网络能够作为通用逼近器。在本文中，我们证明这种非线性也可以通过输入条件化的阈值门控通过分支作为通用原语来实现。我们展示了标准激活函数——无论是分段线性（ReLU、PReLU、Hardtanh）还是平滑（SiLU、Sigmoid、Tanh、GELU）——实际上都是单一阈值门控（TG）原语的实例。对于softmax，我们证明它通过其等价的逐元素Sigmoid形式允许精确的TG转换。然后，我们通过转换跨CNN、基于transformer的模型和循环架构的预训练网络来验证这些等价性，无需重新训练即可保持模型性能。阈值门控还支持从头训练，超越替换现有激活函数，在模型压缩、性能和缩短训练时间方面带来增益。我们还提出了一个“最小分支定理”，该定理将原语中所需的最小分支数与一般深度神经网络的可训练性联系起来。在硬件实现方面，TG映射到模拟内存系统中的统一实现，解决了模拟-数字和数字-模拟转换器（ADC/DAC）的瓶颈，这些转换器已知会显著影响功耗和芯片面积。
查看原文
查看缓存全文

缓存时间: 2026/07/07 04:41 

# 重新思考神经非线性：将激活函数视为门控机制
来源：https://arxiv.org/abs/2607.03148
查看PDF (https://arxiv.org/pdf/2607.03148)

> 摘要：激活函数被视为神经非线性的基础原语，即它们使神经网络能够成为通用逼近器。本文证明，这种非线性也可以通过基于输入条件的分支阈值门控作为通用原语实现。我们展示了标准激活函数——无论是分段线性（ReLU、PReLU、Hardtanh）还是平滑型（SiLU、Sigmoid、Tanh、GELU）——实际上都是单一阈值门控（Threshold Gating，TG）原语的实例。对于Softmax，我们通过其等价的逐元素Sigmoid形式证明它可以直接转换为TG。接着，我们通过转换多种预训练网络（包括CNN、基于Transformer的模型和循环架构）验证了这些等价性，无需重新训练即可保持模型性能。阈值门控还支持从头开始训练，这不仅仅替换现有激活函数，还能在模型压缩、性能提升和缩短训练时间方面带来收益。我们提出了"最小分支定理"，该定理将原语中所需的最小分支数量与通用深度神经网络的可训练性联系起来。在硬件实现方面，TG可在模拟内存系统中映射为统一实现，从而解决了模数转换器/数模转换器（ADC/DAC）这一已知会显著影响功耗和芯片面积的瓶颈问题。

## 提交历史

来自：Muhammad Sabih [查看邮箱 (https://arxiv.org/show-email/e7765490/2607.03148)] **\[v1\]**2026年7月3日星期五 09:38:16 UTC (44 KB)

相似文章

广义神经元

ML at Berkeley

本文探讨了深度学习中的通用近似定理，分析了使用 ReLU 激活函数时单个神经元和神经网络层的表示能力。

神经 GPU 的扩展与局限性

OpenAI Blog

本文探讨了神经 GPU 模型的扩展与局限性，通过课程设计和规模扩展展示了改进方案，使其能够学习十进制数和长表达式的算术运算，同时识别出对称输入上的失败模式，这些模式类似于对抗样本。

以神经元脉冲阈值重新诠释安全阈值

arXiv cs.AI

本文提出了一种受生物学启发的代理安全度量阈值重新解释方法，利用脉冲神经网络，使其与人类制动行为对齐，从而在自动驾驶中架起客观与主观安全感知之间的桥梁。