Amália与欧洲葡萄牙语LLM的未来

# AMÁLIA 与欧洲葡萄牙语 LLM 的未来 来源：https://duarteocarmo.com/blog/amalia-and-the-future-of-european-portuguese-llms Amália Rodrigues 宣传照，由 Augusto Cabrita 拍摄 (https://en.wikipedia.org/wiki/Am%C3%A1lia_Rodrigues) 2024年12月，葡萄牙政府宣布 (https://portugal.gov.pt/gc24/comunicacao/noticias/modelo-de-linguagem-em-grande-escala-para-a-lingua-portuguesa)AMÁLIA 项目：一项耗资550万欧元、旨在为欧洲葡萄牙语开发大型语言模型的投资¹ (https://duarteocarmo.com/blog/amalia-and-the-future-of-european-portuguese-llms#sf-amalia-and-the-future-of-european-portuguese-llms-1)。 前几天，在整理不同葡萄牙语 NLP 项目概览 (https://doc-public-s3.duarteocarmo.com/pt-llm.html) 时，我偶然看到了这份技术报告 (https://arxiv.org/pdf/2603.26511)！简直让人难以置信。有很多值得探讨的内容！我们直接进入正题吧！ *其实*，在开始之前，先做个简短的声明：AMÁLIA 是一项令人印象深刻的工作，研究人员理应为此感到自豪。但既然国家投入了如此庞大的资金，那么全国民众都是这项工作的受益者——因此，我认为提出一些尖锐的问题是合情合理的。如果你参与了该项目并正在阅读此文：感谢你们的付出！ 好了，现在我们进入正题。 ## AMÁLIA 概述 AMÁLIA 是“一款完全开源的、面向欧洲葡萄牙语的大型语言模型（LLM）”。其目标很简单：打造一款将欧洲葡萄牙语视为“一等公民”的 LLM。例如，意大利就曾通过 Minerva (https://aclanthology.org/2024.clicit-1.77.pdf) 做过类似的事情。AMÁLIA 是葡萄牙多所顶尖大学和研究实验室（NOVA、IST、IT 和 FCT）合作的成果。 出乎我意料的是，AMÁLIA *并非*从零开始训练。它是对 EuroLLM (https://eurollm.io/) 预训练阶段的*延续*：这是一项较早的探索（其中投入了大量葡萄牙研究人员！）。据我理解，其架构与 EuroLLM *相同* (https://arxiv.org/html/2506.04079v1#S2.SS2)，仅在上下文长度和 RoPE 缩放方面做了轻微调整。 那么，AMÁLIA 如何聚焦葡萄牙语呢？用一个词概括：**数据**。在每一个不同的训练阶段，他们都试图提高模型训练中欧洲葡萄牙语数据的占比。在预训练阶段，他们使用了 Arquivo.pt (https://arquivo.pt/) 的数据；在监督微调（SFT）阶段，他们合成生成了葡萄牙语数据；而在偏好训练阶段，他们则从 SFT 阶段的数据中进行了二次抽样。 AMÁLIA 在 PT-PT 基准测试上的结果 (https://duarteocarmo.com/images/101/benchmark-results.webp) 点击在新标签页中打开全分辨率版本。根据 AMÁLIA 和 ALBA 论文重建。 训练固然有趣，但更有趣的是评估训练成果是否有效。而在本案例中，这一点*尤其*具有挑战性 (https://duarteocarmo.substack.com/p/a-benchmark-for-language-models-on)。研究团队专门针对欧洲葡萄牙语创建了四个全新的基准测试。其中最引人注目的是 ALBA (https://arxiv.org/pdf/2603.26516)。 ## 到底有多开源？ 完全开源模型的标准是 Olmo (https://allenai.org/olmo)。Olmo 并不在基准测试中领跑，但这并非其重点。Olmo 的核心在于*极其*开源。只需浏览他们的技术报告 (https://arxiv.org/pdf/2512.13961)。权重？开源。数据？开源。代码？开源。训练日志？开源。所有资源均公开可用。这使其成为一项不可思议的公共资源。 在我撰写本文时，AMÁLIA 开源的内容少之又少。我找不到任何地方公布了模型权重、数据、训练日志或新的基准测试。Arquivo.pt 处理脚本 (https://github.com/AM%C3%81LIA-LLM/arquivo_processing) 是开源的，但处理后的数据集本身却无处可寻。目前我们只有几个 GitHub 仓库 (https://github.com/AM%C3%81LIA-LLM/)。在如今“开源权重”众多但“真正开源”的 LLM 寥寥无几的时代 (https://opensource.org/ai/open-weights)，**从未**像现在这样迫切需要将关键资源尽快公开。 也许只是时间问题。也许还有我未能理解的原因导致我们至今仍未看到模型权重。也许这仍是一项进行中的研究。 但即使他们明天就发布权重，我也不确定自己是否完全认同这种方法。 AMÁLIA 持续预训练数据分布 ## 葡萄牙语模型究竟用了多少葡萄牙语数据？ 那么，在训练该模型时究竟使用了多少实际的葡萄牙语数据？ 根据报告，扩展预训练总量为 107B tokens。其中，唯一明确属于欧洲葡萄牙语的部分是来自 Arquivo.pt 的 5.8B tokens。这仅占**约 5.5%**，比例并不高。 公平地说，EuroLLM (https://arxiv.org/pdf/2506.04079) 的数据混合集中肯定已经包含了一些葡萄牙语数据。但我们不知道（1）具体有多少，（2）它究竟是欧洲葡萄牙语还是其他变体。 在 SFT 阶段，比例有所上升——大约在 17% 到 18% 左右。但这足够吗？坦白说，我并不完全清楚该模型中欧洲葡萄牙语数据的总量究竟是多少。而我希望能弄清楚这一点。 令人印象深刻的是，在大多数葡萄牙语基准测试中，AMÁLIA 击败了 Qwen 3-8B 等 SOTA 模型（大获全胜！）² (https://duarteocarmo.com/blog/amalia-and-the-future-of-european-portuguese-llms#sf-amalia-and-the-future-of-european-portuguese-llms-2)。但例如在 ALBA 测试上，Qwen 3-8B 仍然领先我们，这是为什么？是因为他们做了专门的葡萄牙语训练吗？不太可能。这不禁让我好奇：如果我们增加更多的葡萄牙语预训练数据，还能获得多大的提升？ 我只能猜测。我们是否连优化目标都搞错了？ ## 我们究竟应该优化什么？ AMÁLIA 团队为欧洲葡萄牙语创建了四个全新的基准测试。它们涵盖了广泛的领域，重点考察语法、句法、常识，以及（很重要！）模型是否对巴西葡萄牙语存在显著偏见。 但我认为团队忽略了一个维度：我们是否真的在衡量*模型对葡萄牙（国家）的了解程度？* 这是一个绝佳的机会，可以证明一个体量更小但拥有更多葡萄牙本土*内在*知识的模型，其价值所在。即使在与规模相当（甚至更大）的模型对比时也是如此。我认为现有的基准测试都没有捕捉到这一维度。葡萄牙的考试题目有一定帮助——但并不能彻底解决问题。我在想：“阿威罗（Aveiro）最著名的甜点是什么？”“1978 年至 1985 年间的葡萄牙总统是谁？” 但我同样认为，解决这一问题的最佳阶段是预训练阶段。这将需要*更多*的葡萄牙语数据。而团队也承认了这一点。 ## 总结 首先——我在写这篇文章前犹豫过。我不喜欢批评任何人的工作，尤其是在互联网上。我很高兴葡萄牙能对此进行投资。我们拥有一支才华横溢的团队，他们理应获得赞誉。 其次——为一个如此*微小*的国家和“语言”打造一个*大型*语言模型极具挑战性。数据确实有限，但它们*确实存在* (https://huggingface.co/datasets/duarteocarmo/fineweb2-bagaco)，我们只是在如何发现它们上需要更有*创造力* (https://duarteocarmo.com/blog/portuguese-variety-identification-the-bitter-lesson)。 最后——这是朝着令人兴奋的方向迈出的良好第一步。欧洲葡萄牙语 LLM 的未来一片光明！我们只需确保我们的思路、权重、数据和评估保持**开源**。 1. 本文中提到的葡萄牙语均指欧洲葡萄牙语——只是为了简称——请见谅。↩ (https://duarteocarmo.com/blog/amalia-and-the-future-of-european-portuguese-llms#sf-amalia-and-the-future-of-european-portuguese-llms-1-back) 2. 另外一提——不确定为何对比中包含了 Olmo 2-7B 而没有包含 Olmo 3-7B？↩ (https://duarteocarmo.com/blog/amalia-and-the-future-of-european-portuguese-llms#sf-amalia-and-the-future-of-european-portuguese-llms-2-back)