small-activation-params

理想汽车的Mach-Mind-4-Flash是一个拥有3B活跃参数的35B MoE模型，通过使用统一的强化学习/在线策略蒸馏损失进行后训练优化，在多个基准测试中达到了匹配或超越100B参数模型的性能。