我在Fineweb-edu数据集上训练了一个0.5M参数的模型，使用了10亿个token。
摘要
一个个人项目，使用Fineweb-edu数据集中的10亿个token训练了一个0.5M参数的语言模型。
暂无内容
相似文章
我从零开始训练了一个75M参数的LLM，使用18B tokens，它击败了几乎两倍大小的模型
从零开始训练了一个名为KeyLM的75M参数LLM，使用18B tokens，在指令跟随得分上与更大模型竞争，同时使用更少的参数和更少的数据。
我以独立研究项目的形式，从零开始开发了一个拥有2.7亿参数的语言模型
一个从零开始在英文维基百科上训练、并经过指令微调以用于对话式AI的2.7亿参数语言模型，作为独立研究项目开发。
[新发布] Supra-50M 正式推出！
SupraLabs 发布了 Supra-50M，一个紧凑的 5000 万参数因果语言模型，包含基础版和指令版，基于 fineweb-edu 的 200 亿个 token 训练，在多项关键基准测试中达到了可与 GPT-2 和 SmolLM 等更大模型竞争的水平。
我从零构建了一个扩散语言模型。它能写出语法完美的句子，但毫无意义，而这正是有趣之处。
作者从零构建了Joey，一个1.7亿参数的掩码扩散语言模型，在FineWeb-Edu上训练并在DailyDialog上微调，由于容量限制，模型能生成流畅但不连贯的句子。该项目突出了与自回归LLM的差异，以及从构建和调试系统中获得的经验教训。
Glimmer 1 - Glint Research. 一个基础的10,000参数语言模型
介绍了Glimmer，一个10,000参数的语言模型，在FineWeb-Edu的50万个token上训练，采用标准Llama架构，可在HuggingFace上获取。