语言、语言模型与我们正在讨论的内容

# 语言、语言模型与我们的讨论焦点
来源：https://arxiv.org/html/2609.03577
###### 摘要

语言模型通常被当作技术产品来讨论，但显然它们在训练过程中深受数据所传递的语言世界的影响。以意大利语语言模型为例，我想请大家关注这类系统的本质：它们通过对翻译数据和合成数据进行训练与专业化处理，并经过后续精调而形成；同时也想探讨在同样非自然的数据上测试它们的意义。这些最终是否成为意大利语模型？它们是语言模型吗？自然语言处理领域是否仍然关心语言本身？这些问题引出了另一个更具体的问题：我们究竟希望语言模型产生何种语言？我认为，若不首先明确区分作为技术产品设计的语言模型与作为语言研究工具设计的语言模型，就无法回答这个问题。答案可能是多元的，我们所讨论的语言可能是多样的，而图景或许并不如我们担忧的那般悲观。

###### 关键词

语言、语言模型、自然语言处理、立场论文

††版权年份：2026††版权：本文版权由作者所有，允许根据知识共享署名4.0国际许可协议（CC BY 4.0）使用。††会议：CLiC-it 2026：第十二届意大利计算语言学会议，2026年9月14-16日，意大利巴勒莫††邮箱：[email protected]††网址：https://malvinanissim.github.io/††单位：荷兰格罗宁根大学语言理解与生成中心
## 1 现状分析

当我们谈论“大语言模型”（LLM）时，通常指代一种技术制品：一种如今多基于Transformer架构（Vaswani et al., 2017）{wrapfigure}r0.5![[未命名图片]](https://arxiv.org/html/2609.03577v1/training-pipeline.jpg)LLM训练阶段并生成文本输出的神经网络。若我们考虑到除了模型参数和任何进一步处理（见下文）之外，决定模型行为的是其在训练过程中接触的语言，那么我们可以将每个这样的制品理解为植根于特定的语言世界。这个世界由模型在创作和精炼的三个不同阶段所处理的语言输入所决定并涌现而出：预训练（阶段1）、指令微调（阶段2）以及某种形式的最终基于对齐的调整（阶段3），这可被视为基于人类判断的偏好学习，随后采用某种策略优化方案（见图1）。虽然这一过程对自然语言处理社区显然众所周知，可能无需图示，但我仍将其包含在内，因为不同阶段是本文讨论的核心。同时，我非常清楚此图示进行了简化，考虑到文本中提及的当前系统的扩展和修改，它仍可作为本文结构和讨论的良好参考。由于我的绘图技能非常有限且初级，除非另有说明，本文所有图表均由Claude或Nano Banana生成。虽然现代系统越来越多地扩展了这一图景，例如通过推理时推理、工具访问、运行时上下文或从可验证的非语言结果（如数学证明的正确性或代码的成功执行）获得的强化信号，但这三个阶段塑造的语言世界仍然是模型行为涌现的基础。

在商业和研究领域，定义并主导LLM早期及当前格局的核心模型，几乎全部主要使用英语进行训练。虽然其他语言可能在预训练阶段出现，但作为LLM输入的自然语言中占主导地位的是英语。除少数主要或至少大量基于本地数据从头训练的模型（例如意大利语的Minerva（Orlando et al., 2024a）、荷兰语的GPT-NL（van Oort et al., 2026）、拉丁美洲西班牙语的Latam-GPT（CENIA, 2025））外，非英语的语言专业化和熟练度通常在阶段2获得。特别是通过对预训练模型在特定语言的指令上进行微调，得到的指令型LLM即可在目标语言中完全运作。模型经过训练和进一步指令调整后，通常会经历额外的对齐和安全防护程序。这是因为仅靠训练可能使模型容易产生偏见、冒犯性和有害输出，以及不可靠的回应。最后，模型性能通常通过一系列多样化的下游任务评估，组织成更大的基准测试。与预训练和指令数据集一样，英语在评估数据集中占主导地位，因此其他语言的基准测试大多源自（通常是自动）翻译原始英语基准。

我认为这种处理LLM的方式与语言本身已所剩无几关联，也展现了对其兴趣甚微。以意大利语作为案例研究，我将聚焦于现有意大利语LLM及其评估中的语言方面，以及对齐程序的影响，将我的思考延伸至：对语言建模究竟意味着什么、我们期望这些模型做什么、以及未来可能为我们的领域带来什么。

### 贡献

这篇立场论文提出了一些非常简单的概念和反思，它们可能看似平凡，但常常被忽视或未被充分探讨。它简要回顾了意大利语生成模型的历史，并提供了一些证据和理由，说明为何甚至将它们定义为意大利语模型都可能存在争议。它也对我称之为语言模型研究的现状提出了一些抱怨和批评（其他人可能会感同身受），提出了一些前进的思路，但主要是许多没有答案的问题。我将撰写这些想法视为一个契机，得以暂停并厘清我心中关于语言和语言模型意义的思考，并希望能与许多充满热情和知识的人士就我们所处的位置和应采取的行动展开开放讨论。

## 2 意大利语生成模型简史

现代意大利语生成语言模型库在2020年开始丰富，随着GePpeTto（De Mattei et al., 2020）的到来，它是第一个完全在意大利语数据上训练的仅解码器语言模型。基于GPT-2-small架构（Radford et al., 2019），GePpeTto在意大利语维基百科和ItWac网络语料库（Baroni et al., 2009）的数据转储上进行了训练，总计约14GB文本。尽管即使在其时代规模也不算大（12层，1.17亿参数，词汇表约3万个标记），GePpeTto作为意大利语的首个此类模型具有重要意义，它是完全*从头开始*在仅意大利语数据上训练的。其性能通过使用多种意大利语文本进行困惑度自动评估，并由意大利语母语者判断其自然度。输出被评估为有时略显生硬，但在词汇、句法和整体流畅度上可识别为意大利语。

几年后出现了IT5（Sarti and Nissim, 2024），基于T5编码器-解码器架构（Raffel et al., 2020），并在意大利语C4语料库上训练，该语料库包含215GB的清洗网络文本，涵盖1.03亿文档和约410亿词。这一规模进一步允许在翻译、摘要、问答和风格迁移等多个任务上进行训练。评估在ItaGen基准上进行，这是一套涵盖维基百科和新闻摘要、标题生成和语体控制的自动化任务套件。

{wrapfigure}
l0.45![[未命名图片]](https://arxiv.org/html/2609.03577v1/zoo-LMs-complete-noBG.png)意大利语语言模型库中的角色：GePpeTto、Camoscio、Fauno、Anita-Llamantino和Minerva。

2022年底标志着OpenAI发布了ChatGPT（OpenAI, 2022），到2023年，Meta发布了其LLaMA模型，包括基础版和指令微调版（Touvron et al., 2023a; Touvron et al., 2023b）。为了对模型进行指令微调，Taori et al. (2023a)创建并发布了Alpaca，一个包含超过5万个指令-回复示例的合成指令微调数据集。得益于其开放权重，LLaMa模型非常适合研究人员按自己的意愿和规模进行指令微调，不受闭源模型通常施加的限制。遵循非英语语言自然语言处理从业者的普遍趋势，意大利语研究人员抓住机会利用现有指令数据集（的自动翻译）来创建LLaMa模型的意大利语指令微调变体。我在此提及Camoscio（Santilli and Rodolà, 2023）、Fauno（, 2023）和Anita（Polignano et al., 2024）。

这三个模型的起点都是上述的Alpaca数据集（Taori et al., 2023b），该数据集使用GPT-3.5自动翻译成意大利语，创建了Camoscio数据集（Santilli and Rodolà, 2023）。这被用于（使用LoRA（Hu et al., 2021））微调META的LLaMA 7B，创建了Camoscio模型。训练设置并未使用现有的指令微调英语LLaMA检查点，如Alpaca微调过的LLaMA。相反，它从标准的LLaMA基础权重开始，直接使用翻译后的Alpaca示例应用意大利语指令微调。Fauno采用了类似的训练策略，此外还从ChatGPT自我对话、Stack Overflow讨论串和Quora讨论中抽取合成对话加入指令微调数据集。另一个利用LLaMA基础来微调意大利语模型的是Anita（Polignano et al., 2024）。该模型同样建立在Alpaca数据集的自动翻译之上，并通过额外的合成和机器翻译指令进行扩展，达到了约24万个指令-回复对。

Scalena et al. (2024)作为更计算密集型的标准指令微调（使用监督训练数据更新模型权重）的替代方案，使用对比激活引导作为轻量级方法，保持原始模型不变，而是在推理时使用上下文示例（我在此称之为Steered-ITA）使其适应意大利语。用于对比上下文学习的示例来自上述的意大利语Alpaca。

最后，Minerva系列（Orlando et al., 2024b）采用了不同的策略。它代表了一套基于受Mistral启发架构（Jiang et al., 2023）从头开始在大量意大利语数据上训练的LLM。Minerva的预训练由一个平衡的语料库组成，包含50%意大利语和50%英语文本，并辅以代码，总计2.5万亿个标记（1.14万亿意大利语，1.14万亿英语，2000亿代码），这远小于LLaMA系列的预训练数据。

表1提供了本文刚讨论的这一时期主要意大利语模型的粗略概览。让我用几句话总结一下由此产生的格局。早期的意大利语语言模型规模较小，并从头开始在——按当前标准——规模不大的意大利语文本集合上训练。更新的模型符合当前趋势，优先考虑规模和指令遵循能力，通过重用预训练骨干模型（如LLaMA）并依赖合成或翻译的指令数据（例如Camoscio、Fauno、Anita）或推理时控制（Steered-ITA）来使模型在意大利语方面专业化，从而降低训练成本和时间。

模型 | 年份 | 基础/架构 | 指令示例 | 类型
--- | --- | --- | --- | ---
GePpeTto | 2020 | GPT-2，从头训练 | 维基百科 + ItWac（14 GB） | 原生意大利语
IT5 | 2022 | T5，从头训练 | 意大利语C4（215 GB） | 原生意大利语
Camoscio | 2023 | LLaMa基础 | Alpaca 机器翻译 → 意大利语 | 机器翻译合成
Fauno | 2023 | Baize（基于LLaMa基础） | ChatGPT自我对话 + 机器翻译数据 | 合成
Anita | 2024 | LLaMa-3 | 扩展的Camoscio + ... | 机器翻译合成
Steered-ITA | 2024 | LLaMa-3 / Phi-3 | 20个机器翻译示例 | 引导
Minerva | 2024 | 受Mistral启发，从头训练 | 意大利语/英语/代码（8–10TB） | 混合

表 1：2020–2024年主要意大利语语言模型：架构、数据来源和类型。
下一节的标题暗示了我对这些模型意大利语专业化的评估。

## 3 意大利语模型？狗屁！

韦氏词典将惯用语“my ass!”定义为一种感叹词，用以表示刚才所说的话是胡扯。剑桥词典的定义指出，“my ass!”是“一个粗俗短语，用以强调你不相信或不接受某人所说的话”。本节标题中，“my ass”所暗示的胡扯概念即“意大利语模型”；我猜其意大利语翻译“Modelli italiani un cazzo!”也很贴切。参考图1，暂时将讨论排除在两个从头训练的较老模型（GePpeTto和IT5）之外，让我从语言输入和语言世界的角度，展开其他模型训练中阶段1和阶段2的讨论，以便我们能够理解“意大利语模型？狗屁！”的含义。

### 基础模型（阶段1）

Camoscio、Fauno、Anita和Steered-ITA都源于现有的基础预训练模型。前三个来自LLaMA系列模型，而Steered-ITA实验则使用LLaMa-3或Phi-3作为基础。

LLaMA系列模型，有不同的大小和版本，由Meta开发（Touvron et al., 2023a; Touvron et al., 2023b）。与开放的模型权重不同，用于预训练模型的数据尚未公开。不过，Meta分享了一些宽泛的信息...