mixture-of-models

一种名为Mixture of Models (MoM)的新开源架构，专为大型语言模型设计，通过捆绑多个AI模型来实现类似专家混合模型的功能，现已发布在GitHub上。

MERA 提出了一种面向 LLM 智能体的多周期自适应方法，通过将执行验证的演示蒸馏到 SkillBook 并对 LoRA 适配器进行微调来改进小模型，并采用基于路由器的部署和验证器支持的回退。实验表明，Qwen2.5-Coder-1.5B 在 HumanEval++MBPP 上的通过率从 28.7% 提升至 49.7%，同时以更低的成本保留了大部分质量。

Clement Delangue 强调了 vLLM 的新语义路由器，这是一个开源系统，用于将LLM查询路由到最合适的模型，旨在将价值从昂贵的前沿模型转移到多样化的开源模型生态系统。