custom-architecture

一个拥有1.17亿参数的Silia模型在H100 GPU上使用8200万个token训练了5小时。该模型严重欠训练，但提供了与nanoGPT的对比。

用户宣布他们从零开始训练了一个自定义的78M参数AI架构，在8x3090设备上使用1B个token耗时12小时，声称该模型现在可以说话了。