Luth-2:全新法国小语言模型,达到最先进水平
摘要
Luth-2 发布了两款法国小语言模型(0.8B 和 2B),在法语基准测试上取得了同尺寸模型中的最佳成绩,并在 Hugging Face 上开源权重和数据。
大家好,今天我们发布 Luth-2-0.8B 和 Luth2-2-2B,这两个非推理模型在多种法语任务上为同尺寸模型树立了新的最先进水平 🚀 以下是一些与大约 3 倍大小模型相比的法语基准测试显著得分:
- Luth-2-2B 在 Multi-IF 上得分 69.67,而 Gemma-4-E2B-it 为 65.17。
- Luth-2-0.8B 在 MGSM-Rev2 上得分 72.92,而 granite-4.0-h-micro 为 55.60。
- Luth-2-2B 在 Math-500 上得分 81.52,而 Gemma-4-E2B-it 为 81.24。
Luth-2 基于我们之前的工作,并进行了多项重大改进。我们引入了一个新的 3B-token SFT 混合数据集,覆盖更广泛的领域,包括数学、知识、代码、工具调用、指令遵循、多轮对话和科学。我们还通过专家专业化和多领域在策略蒸馏(MOPD)使用强化学习,进一步扩展模型的能力。最后,我们改用 Qwen3.5 作为基础模型,因为我们发现它更容易接受后训练。
最终模型在选定的法语基准测试上超越了所有同尺寸模型,同时与更大的模型保持竞争力。两者都足够轻量,可以在本地设备上运行。
更广泛地说,这些结果表明,当前的多语言小语言模型在英语之外仍留有大量未开发的能力,即使是像法语这样的高资源语言也是如此。
Luth-2-2B 和 Luth-2-0.8B 现在可以在 Hugging Face 上获取:
🤗 模型:Luth-2-0.8B | Luth2-2-2B | Luth-2-0.8B-GGUF | Luth2-2-2B-GGUF |
📚 数据:Luth-2-Post-Training-SFT | Luth-2-Post-Training-RL
💻 代码:https://github.com/kurakurai/Luth-2
✏️ 博客:https://huggingface.co/blog/MaxLSB/luth-2
🏆 法语排行榜:https://huggingface.co/spaces/kurakurai/llm_leaderboard_fr
我们非常期待您的反馈,所以不要犹豫,快来试试吧!🙂
相似文章
OpenLLM-France/Luciole-23B-Instruct-1.1(Apache 2.0许可,另有8B和1B版本可用)
OpenLLM-France发布了Luciole-23B-Instruct-1.1,这是一个基于Apache 2.0许可的开源多语言指令调优语言模型,同时提供较小的8B和1B变体。
LiquidAI/LFM2.5-ColBERT-350M
LiquidAI 发布 LFM2.5-ColBERT-350M,这是一种后期交互多语言检索模型,同时还有一个密集双编码器变体,两者均基于 LFM2.5-350M-Base,支持 11 种语言,并设计为 RAG 管道的即插即用替代品。
@cjzafir: 垂直语言模型(VLMs)正在击败顶级大语言模型。这些参数量7B到15B的小型专精模型在各自的细分领域击败了SoTA模型……
作者演示了,通过使用开源模型和Codex编排进行高性价比微调,小型垂直语言模型(6B-15B)能够在细分基准上超越顶级大语言模型,仅用价值300美元的数据集就取得了成果。
小大脑,大成就:探索紧凑型语言模型
本文对17个紧凑型语言模型(1B-8B参数)在俄语RAG系统中作为生成器进行了基准测试,仅使用CPU推理,发现Qwen系列模型在私有、无GPU部署中提供了出色的质量-延迟权衡。
mindlab-research/Macaron-V1-Preview-749B • Huggingface
mindlab-research 发布 Macaron-V1-Preview-749B,一个拥有7490亿参数的大语言模型,可在 Hugging Face 上获取。