标签
这条推文讨论了不使用 autograd 和 torch.nn 模块抽象来编写模型代码的方法,强调手动反向传播和直接矩阵计算。
我用C从头构建了一个深度学习库,支持张量操作、自动求导和神经网络模块,并用它训练了一个基于莎士比亚数据的小型语言模型。
PyTorch团队讨论了PyTorch作为深度学习领域既作为参考语言又作为实现语言的概念,强调了其在验证优化的内核实现中的作用,以及大型语言模型生成明确的前向-后向代码的潜力。
Talos-XII 是一个专为《明日方舟:终末地》抽卡系统设计的命令行模拟器,完全用 Rust 构建,带有自定义自动求导引擎和小型 RL/MLP 堆栈(无外部机器学习框架)。它使用神经网络进行环境建模和抽卡决策策略,并包含复杂的 SIMD 调度和一个名为 ACHF 的自适应缓存开放实验。
一位开发者用TypeScript从头构建了一个Transformer模型,包括自定义的自动求导引擎,并将其作为开源教育工具发布在GitHub上。
PyTorch 是一个开源深度学习框架,提供 GPU 加速的张量计算和基于 tape-based autograd 的动态神经网络。GitHub README 提供了安装说明、组件概览以及文档链接。