architecture-experiments

作者分享了从头训练一个160M参数大语言模型的经验，尝试了多种架构，如多Token预测和分层推理模型。他强调快速迭代、简化思路以及理解架构有效原因的重要性。