标签
本文介绍了MiniGPT，这是一个基于PyTorch从头实现的紧凑型GPT风格自回归语言模型，其构建参考了nanoGPT的研究。该模型在Tiny Shakespeare数据集上使用字符级分词进行评估，在10.77M参数配置下达到了1.4780的验证损失。