构建并发布了BetterGPT-150M——一个紧凑的1.5亿参数补全模型（含在线HF Space演示）

大家好，我最近完成了BetterGPT-150M的预训练，这是一个小型轻量级因果语言模型，拥有约1.52亿参数。在150亿个token上训练。数据集与训练：在稳定阶段和退火阶段使用了精心策划的数据集（包括FineWeb-Edu、fine maths、cosmopedia、starcode-python），在最大化token效率的同时确保强大的能力保留。性能：基准评估表明，它在性能上优于GPT-2 Small，同时与使用更大token预算训练的模型持平。由于许多小型/微型模型往往被大规模LLM发布所淹没，我想在这里分享给对轻量级架构、快速CPU推理或小型边缘设备实验感兴趣的人。仓库：https://github.com/harikrish2727/BetterGPT 模型中心：https://huggingface.co/Harikrish2727/BetterGPT-150M 在线演示：https://huggingface.co/spaces/Harikrish2727/BetterGPT-Demo（托管在ZeroGPU上，支持token流式传输）模型说明：任务：文本补全/生成（它是一个标准的基座补全模型，未进行指令微调）。占用资源：RAM/vRAM占用极低，在标准CPU上可瞬间运行。欢迎在Space演示中尝试提示词，或下载权重在本地运行。欢迎提供反馈、基准测试建议或指令微调的想法！这是我非常认真的第一次尝试，希望能得到大家真诚的反馈。