@reprompting: 使用共享内存归约的朴素CUDA softmax。归约似乎是一个非常直接的概念。

X AI KOLs Timeline 工具
cuda softmax shared-memory reduction gpu-programming deep-learning

摘要

一条推文分享了一个使用共享内存归约的朴素CUDA softmax实现，并指出归约非常直接。

使用共享内存归约的朴素CUDA softmax。归约似乎是一个非常直接的概念。https://t.co/rJgj1omslJ
查看原文
查看缓存全文

缓存时间: 2026/06/17 18:02

使用共享内存归约的朴素CUDA softmax。归约似乎是一个相当直接的概念。https://t.co/rJgj1omslJ

相似文章

SignMuon: 通信高效的分布式Muon优化

arXiv cs.LG

SignMuon是一种1位、感知矩阵的分布式训练优化器，它结合了signSGD的多数投票符号聚合与Muon的极坐标步骤框架，在float32基础上实现32倍带宽缩减，同时在CIFAR-10/ResNet-50和nanoGPT等基准测试上保持强大的收敛性和性能。

反思优化

Hacker News Top

一篇博客文章，讨论针对受约束的分类概率分布的优化技术，使用softmax重参数化和log barrier方法，应用于蛋白质结合剂设计。