scalable-training

一个名为train-llm-from-scratch的开源仓库使得在单张GPU上训练十亿级参数的LLM成为可能，它提供了一个从原始文本到推理的可配置流水线，包括数据集流式加载和检查点保存，采用MIT许可证。