Luth-2:全新法国小语言模型,达到最先进水平

Reddit r/LocalLLaMA 模型

摘要

Luth-2 发布了两款法国小语言模型(0.8B 和 2B),在法语基准测试上取得了同尺寸模型中的最佳成绩,并在 Hugging Face 上开源权重和数据。

大家好,今天我们发布 Luth-2-0.8B 和 Luth2-2-2B,这两个非推理模型在多种法语任务上为同尺寸模型树立了新的最先进水平 🚀 以下是一些与大约 3 倍大小模型相比的法语基准测试显著得分: - Luth-2-2B 在 Multi-IF 上得分 69.67,而 Gemma-4-E2B-it 为 65.17。 - Luth-2-0.8B 在 MGSM-Rev2 上得分 72.92,而 granite-4.0-h-micro 为 55.60。 - Luth-2-2B 在 Math-500 上得分 81.52,而 Gemma-4-E2B-it 为 81.24。 Luth-2 基于我们之前的工作,并进行了多项重大改进。我们引入了一个新的 3B-token SFT 混合数据集,覆盖更广泛的领域,包括数学、知识、代码、工具调用、指令遵循、多轮对话和科学。我们还通过专家专业化和多领域在策略蒸馏(MOPD)使用强化学习,进一步扩展模型的能力。最后,我们改用 Qwen3.5 作为基础模型,因为我们发现它更容易接受后训练。 最终模型在选定的法语基准测试上超越了所有同尺寸模型,同时与更大的模型保持竞争力。两者都足够轻量,可以在本地设备上运行。 更广泛地说,这些结果表明,当前的多语言小语言模型在英语之外仍留有大量未开发的能力,即使是像法语这样的高资源语言也是如此。 Luth-2-2B 和 Luth-2-0.8B 现在可以在 Hugging Face 上获取: 🤗 模型:Luth-2-0.8B | Luth2-2-2B | Luth-2-0.8B-GGUF | Luth2-2-2B-GGUF | 📚 数据:Luth-2-Post-Training-SFT | Luth-2-Post-Training-RL 💻 代码:https://github.com/kurakurai/Luth-2 ✏️ 博客:https://huggingface.co/blog/MaxLSB/luth-2 🏆 法语排行榜:https://huggingface.co/spaces/kurakurai/llm_leaderboard_fr 我们非常期待您的反馈,所以不要犹豫,快来试试吧!🙂
查看原文

相似文章

LiquidAI/LFM2.5-ColBERT-350M

Hugging Face Models Trending

LiquidAI 发布 LFM2.5-ColBERT-350M,这是一种后期交互多语言检索模型,同时还有一个密集双编码器变体,两者均基于 LFM2.5-350M-Base,支持 11 种语言,并设计为 RAG 管道的即插即用替代品。

小大脑,大成就:探索紧凑型语言模型

Hugging Face Daily Papers

本文对17个紧凑型语言模型(1B-8B参数)在俄语RAG系统中作为生成器进行了基准测试,仅使用CPU推理,发现Qwen系列模型在私有、无GPU部署中提供了出色的质量-延迟权衡。