automated-search

本文提出了一种用于搜索4专家异构Mixture-of-Experts架构的自动化流水线，探索了理论组合空间的4.8%，并识别出高产和低产专家家族。该工作发布了分析工件和一个修正后的生成器，作为开源NNGPT项目的一部分。