efficient-models

InclusionAI 已开源 Ling-3.0 系列，该系列具有高效的语言模型，采用稀疏 MoE 架构和混合线性注意力，提供不同训练阶段的检查点，以支持研究和创新。

介绍了高效算子搜索（EOS），这是一个统一的可微分框架，将令牌缩减方法（剪枝、合并、池化、自适应重加权）泛化到共享算子空间，在预算约束下自动搜索最优算子组合。该方法在多个基准上取得有竞争力的结果，并揭示了一致的算子模式。

介绍了FaraGen——一种用于计算机使用智能体的合成数据生成系统，以及Fara-7B——一个体积小但效率高的模型，在网页任务基准测试中优于更大规模的模型。该模型已在Microsoft Foundry和HuggingFace上以开放权重形式发布。