recurrent-depth-transformer

OpenMythos 是一个基于 Claude Mythos 架构理论复现的开源项目，完整实现了 Recurrent-Depth Transformer (RDT)，支持 MLA/GQA 注意力机制和稀疏 MoE，提供从 1B 到 1T 参数的预设配置，可通过 pip 安装使用。

22岁开发者Kye Gomez仅用两天逆向Anthropic的Claude Mythos黑箱架构，并开源OpenMythos项目，采用循环深度Transformer等技术，770M参数实现相当于1.3B模型的性能。