continued-pre-training

本文介绍了一个端到端的管道，用于将LLM适配到低资源编程语言，以Pharo为案例研究，通过适合实时IDE支持的小型模型实现了卓越的代码补全。

本文发现了LLM持续预训练中最佳超参数（学习率、批量大小）的可预测缩放规律，提出了一个两阶段框架，可将超参数搜索开销降低高达90%，同时保持性能。

本文提出了 LayerTracer，这是一个用于持续预训练中参数层分配的可解释框架。研究表明，在冻结深层网络的同时仅训练浅层，其效果优于全参数微调。这为资源受限团队优化大语言模型提供了一种低成本且可操作的策略。