标签
一条推文分享了一个使用共享内存归约的朴素CUDA softmax实现，并指出归约非常直接。
Aman Chadha 创建并发布了涵盖斯坦福AI课程及高级主题的全面免费学习笔记，可在 aman.ai 获取。
MoCo-AIS 是一个统一的对比学习框架，用于计算船只轨迹的相似度，并在大规模AIS数据集上进行了评估。
一种用于从OCO-2光谱中概率反演CO2柱浓度的深度学习框架，采用拉普拉斯近似和归一化流，相比传统方法实现了更快的推理和更好的不确定性量化。
MM++是一个完全无监督的事后分布外检测框架，通过Top-K门控特征融合融合具有判别性的中间层，并使用正则化的绑定协方差矩阵进行尺度不变距离估计。
一个适合初学者的GitHub仓库，涵盖PyTorch基础，包括张量初始化、运算、索引和重塑，拥有超过900颗星。
作者分享了对内核融合的兴奋之情，并演示了使用HuggingFace的kernels项目对GeGLU FFN融合的Liger内核进行性能分析，指出这个分析结果非常漂亮。
对牛只识别中机器学习与深度学习技术的系统综述，涵盖CNN和YOLO等方法、特征提取技术以及数据集有限和实时处理等挑战。
本文评估了深度学习模型（LSTM、TCN、Transformer）在WESAD数据集上基于生理信号的多模态情感识别表现，结果表明集成方法达到了98.91%的准确率。
提出一个几何框架来识别“AI engrams”——深度神经网络中的记忆痕迹——将神经科学标准形式化为一个闭式估计器，使得从MLP到LLM的模型能够进行精确的记忆操作。
提出SERAF，一种用于时间序列预测的多模态检索增强框架，该框架同时利用数值相似性和自生成的文本描述来检索历史模式，从而改善非平稳条件下的预测。在七个真实世界数据集上的实验表明，其效果优于最先进的基线模型。
本文提出Delta-Star，一种采用AlphaZero风格自我对弈的深度强化学习方法，通过与LLL算法的原始操作交互，发现更优的格基约简策略。学习到的策略无需重新训练即可泛化到更高维度和未见过的模数。
本文为指导在深度学习中合理使用不同的 Schatten-p 范数提供了指南，分析了它们在模型正则化和优化方面的理论特性和实际意义。
论文介绍了YB-Mixer，这是一种从广义杨-巴克斯特方程推导出的令牌混合层，具有精确的范数保持、深度稳定特性，并支持无顺序推理和可变预算推理。与注意力机制和状态空间基线相比，它在长程记忆任务上以更少的参数实现了具有竞争力的性能。
介绍理性稀疏自编码器（RSAE），该模型用可训练的有理函数替换固定的编码器激活，在多个基线族开放权重语言模型的残差流激活上改善重建与稀疏性权衡。
本研究探讨了利用皮肤电活动、心率和皮肤温度等生理数据，通过机器学习模型预测考试结果，发现深度学习方法与随机森林等简单模型均能有效发挥作用。
GRASP提出一种多源迁移学习方法，顺序合并源模型到单个目标模型，内存占用恒定O(1)，使用基于梯度的参数对齐避免负迁移。实验表明其性能优于集成方法且内存效率更高。
分享了一份题为《深度学习基础、架构与工程实践》的文档，可能涵盖深度学习的基本概念、架构和实际工程实践方面。