custom-architecture

Yandex 发布了 AliceAI Foundation 80B A3B Base，这是一款自定义AI模型，与 Qwen 35B 和 DeepSeek V4 Flash 竞争，具有自己的架构，且未经后训练。

该文章描述了一个名为Human Engineered Intelligence的个人项目，这是一个使用Rust构建的非AI系统，在本地处理语言而无需训练，其特点是采用了自定义架构，包括authorities和cubes用于知识表示。

一个拥有1.17亿参数的Silia模型在H100 GPU上使用8200万个token训练了5小时。该模型严重欠训练，但提供了与nanoGPT的对比。

用户宣布他们从零开始训练了一个自定义的78M参数AI架构，在8x3090设备上使用1B个token耗时12小时，声称该模型现在可以说话了。