标签
一篇新论文研究了是剪枝更大的LLM还是从头训练小LLM更好，发现剪枝不仅提供了良好的初始化。
Fluyeporlaweb 在 GitHub 上发布了一份指南，展示如何从零开始构建和训练 Transformer 模型，实现了注意力机制、多头注意力、嵌入以及训练后算法（SFT、PPO、DPO、GRPO），无需使用高级库，并在 The Pile 数据集上训练。
本文实证比较了剪枝与从头训练小型语言模型的差异，发现在有限token预算下剪枝具有明显优势，但随着训练规模扩大，优势逐渐减小，尤其是在粗粒度剪枝情况下。
使用iPod touch 4拍摄的350张红色一次性杯子的照片，从零开始训练了一个DCGAN模型，生成的结果让人联想到早期的DALL-E。
对从零开始训练AI模型的挑战与魅力的个人反思，强调了数据、硬件和扩展方面的困难，同时指出令人惊讶的是，在普通硬件上也能训练出相当不错的小模型。