small-scale-ai

Fractale-350M-base 是一个386M参数的基础模型，从零开始预训练，采用新颖的训练快速权重记忆库（8个向量）替代长上下文，完全开源，包括权重、代码和研究日志。