compact-language-models

本文对17个紧凑型语言模型（1B-8B参数）在俄语RAG系统中作为生成器进行了基准测试，仅使用CPU推理，发现Qwen系列模型在私有、无GPU部署中提供了出色的质量-延迟权衡。

Evoflux 在推理时使用进化搜索来修复轻量级语言模型中失败的工具工作流，相比微调方法显著提升了执行可行性。