标签
一场关于摆脱 GPU 与反向传播的演讲：主讲人指出硬件与优化器的协同进化已导致每焦耳 FLOPs 停滞，主张十年内我们将放弃反向传播，并提出用 SPSA 零阶优化器配合体节混合架构，同时押注光学计算与神经形态计算等替代路线。
Y Combinator 的 Paper Club 探讨了超越「transformer + 反向传播 + GPU」传统算力体系的替代方案，涵盖以光进行计算的光学计算、受大脑启发的类神经形态芯片架构，以及通过强化学习训练活体脑细胞来玩《Doom》的实验。
本文介绍了 DVA-Neurons，一种采用二阶突触滤波以实现改进动力学的自适应 LIF 神经元设计，并展示了在 14nm CMOS 技术中经过物理验证的可扩展多神经元脉冲网络。
Spi-fly是一种受果蝇启发的神经网络，使用稀疏活动和联想学习，能够以极少内存快速学习气味。它展示了强大的少样本学习性能，但需要进一步测试。
PC-ALM 是一种局部训练方法，通过层局部动态系统传播监督信用，使得训练多达1000层的网络无需反向传播成为可能，同时性能几乎与反向传播相当。
作者探讨了一种基于波的叠加而非神经网络权重的人工智能感知新方法，并向相关领域的研究人员寻求见解。
研究人员开发了一种名为Spi-Fly的生物启发算法，该算法模仿果蝇的嗅觉系统，利用稀疏编码实现快速学习，并防止电子鼻中的灾难性遗忘。
本文提出了一种Sparse-Activation-ReLU (SAR)层，用于低延迟、高能效的虚拟感知，在延迟-误差-能效指标上实现了显著提升，并通过合成知识蒸馏降低了误差。
本文提出了一种贝叶斯控制框架，将基于脉冲的动态与概率推断相结合，用于非线性动态系统的自适应控制，并使用一个脉冲神经网络模型在基准问题上进行了演示。
本文提出了SAGE，一种利用注意力派生熵自适应替代梯度以提高脉冲Transformer训练准确性的方法，并在CIFAR-10/100数据集上进行了验证。
本文讨论了NSRAM，一种新型的硅芯片上的人工神经元，旨在通过模仿生物神经元，大幅提高AI的能效，解决数据中心GPU高能耗的问题。
研究人员提出利用声波和phi-bits构建神经形态设备，以更好地模拟生物神经元，有望实现更快、更节能的计算，用于模式识别和数据分析。
探讨人脑（15瓦）与AI硬件（实时模拟需数十亿瓦）之间巨大的能效差距，重点介绍旨在缩小这一差距的神经形态计算方案，如自旋忆阻器、相变材料和超级图灵AI。
研究人员构建了一种范德华晶体，该晶体能够模拟神经元细胞，实现光驱动学习，这是向神经形态计算迈出的一步。
西北大学的研究人员用二硫化钼和石墨烯墨水打印出了人工神经元，能产生生物逼真的电脉冲，活体小鼠脑细胞将其识别为自然信号。这一突破对节能的神经形态计算意义重大。
文章讨论了‘AI功耗墙’现象，即计算增长超过效率提升，并提出了四个范式转变——神经形态计算、光子计算、以内存为中心的计算和近似计算——以实现可持续的AI发展，同时推广了即将举行的‘Watt Matters in AI’会议，该会议关注全栈能源削减。
提出针对脉冲神经网络的选择性对齐知识蒸馏（SeAl-KD），该方法通过均衡错误时间步上的竞争logits并基于置信度和时间步间相似性重新加权时间对齐，选择性地对齐类别级别和时间知识，在静态和神经形态数据集上相较于现有蒸馏方法实现了一致的改进。