论文页面 - 教会大型语言模型低资源语言：提升 Pharo 代码补全能力

来源：https://huggingface.co/papers/2607.04939

摘要

通过专用的训练管道和基准测试，大型语言模型可以针对低资源编程语言进行适配，从而在代码补全性能上超越通用型模型。

大型语言模型（Large Language Models, LLMs）为自动化代码编写开辟了新可能，成为大多数代码补全（https://huggingface.co/papers?q=code%20completion）工具的支柱。尽管 LLMs 在主流语言中表现出色，但它们在训练数据稀缺的所谓低资源语言上往往缺乏支持。因此，这些语言在可供其社区使用的代码补全（https://huggingface.co/papers?q=code%20completion）工具质量上落后于主流语言。一个具体的例子是 Pharo，一种受 Smalltalk 启发的语言，其集成开发环境目前仅提供单标记补全。在本工作中，我们报告了将基于 LLM 的代码补全（https://huggingface.co/papers?q=code%20completion）引入 Pharo 的经验。首先，我们描述了一个端到端管道，该管道结合了 Pharo 特有的数据整理、针对开放代码 LLMs 的持续预训练（https://huggingface.co/papers?q=continued%20pre-training）和微调（https://huggingface.co/papers?q=fine-tuning）。其次，我们引入了一套 Pharo 代码补全基准测试（https://huggingface.co/papers?q=code%20completion%20benchmarks），旨在评估模型是否（i）学会了 Pharo 的语法，以及（ii）能够准确补全来自真实世界 GitHub 仓库中被遮蔽的 Pharo 代码。第三，我们通过实验证明，针对 Pharo 特化的模型显著优于其原始基础检查点，并且在 Pharo 补全任务上的准确率甚至超过了规模大得多的代码 LLMs。总体而言，我们的案例研究证明了将强大的基于 LLM 的代码补全（https://huggingface.co/papers?q=code%20completion）引入低资源编程语言的可行性——所使用的模型足够小，能够提供“实时”的 IDE 内支持。

查看 arXiv 页面（https://arxiv.org/abs/2607.04939）查看 PDF（https://arxiv.org/pdf/2607.04939）GitHub0（https://github.com/kilian-kier/pharo-llm-completion）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2607.04939）

引用本论文的模型0

无模型关联本论文

请在模型 README.md 中引用 arxiv.org/abs/2607.04939，以便在本页面链接它。

引用本论文的数据集0

无数据集关联本论文

请在数据集 README.md 中引用 arxiv.org/abs/2607.04939，以便在本页面链接它。

引用本论文的空间0

无空间关联本论文

请在空间 README.md 中引用 arxiv.org/abs/2607.04939，以便在本页面链接它。

包含本论文的收藏0

无收藏包含本论文

请将本论文添加到一个收藏（https://huggingface.co/new-collection）中，以便在本页面链接它。