以数据为中心的调试:面向训练神经网络的团队 [P]
摘要
WeightsLab 是一个开源、PyTorch 原生的工具,允许团队在训练过程中暂停、检查实时损失信号,并在数据问题(如标签错误和类别不平衡)影响模型性能之前发现它们。它专为处理图像、视频和 LiDAR 点云的计算机视觉工程师而设计。
我们刚刚对 WeightsLab 进行了重大改进,并想在此分享。如果你曾经花数小时调试训练过程,最终却发现一直是数据问题,那么这个工具就是为你准备的。WeightsLab 允许你在运行中暂停训练,检查实时损失信号,并在标签错误、类别不平衡和异常值破坏你的模型之前捕获它们。开源、PyTorch 原生,专为处理图像、视频和 LiDAR 点云数据的计算机视觉工程师打造。非常希望听到社区的看法,以及它是否看起来有用,并帮助更多人找到它:[ https://github.com/GrayboxTech/weightslab]
相似文章
我为 PyTorch 训练循环构建调试器所学到的东西,以及它如何改变我对故障诊断的思考 [D]
作者分享了构建 NeuralDBG 的经验,这是一个针对 PyTorch 训练循环的开源调试器,通过监测逐层梯度范数的变化而非全局损失来检测局部故障,如梯度消失/爆炸。文中包含实用代码片段和社区问题。
你存在于权重中吗?
一个工具,让你检查你的数据是否被包含在大语言模型的训练集中,探索AI中的数字永生概念。
Pyrecall 开源工具:检测 LLM 微调中的灾难性遗忘 [P]
Pyrecall 是一款新的开源工具,能够检测 LLM 微调中的灾难性遗忘,通过快照训练前后的技能分数,标记性能回退,并回滚 LoRA 适配器。该工具完全在本地运行,无需外部 API。
我们很高兴开源 LIDARLearn [R] [D] [P]
LIDARLearn 是一个开源 PyTorch 库,用于 3D 点云深度学习,统一了 56 个预配置模型,内置交叉验证和自动生成出版级 LaTeX 报告的功能。该框架支持有监督学习、自监督学习和参数高效微调方法,适用于 ModelNet40、ShapeNet 和遥感基准等数据集。
权重归一化:加速深度神经网络训练的简单重参数化方法
OpenAI 提出了权重归一化,一种重参数化技术,通过将权重向量的长度与方向解耦,改进神经网络训练的收敛性和计算效率,且不引入小批次依赖关系,适用于循环神经网络和对噪声敏感的应用场景。