标签
作者从零构建了Joey，一个1.7亿参数的掩码扩散语言模型，在FineWeb-Edu上训练并在DailyDialog上微调，由于容量限制，模型能生成流畅但不连贯的句子。该项目突出了与自回归LLM的差异，以及从构建和调试系统中获得的经验教训。