产业规模生态系统中的LLM演进：持续学习的生命周期视角

# 大规模语言模型的产业级生态系统演化：持续学习的生命周期视角

**来源：** https://arxiv.org/html/2606.24901

Enneng Yang ([email protected])，中山大学深圳校区，中国  
Guojie Zhu ([email protected])，华为技术有限公司，中国  
Yibin Chen ([email protected])，华为技术有限公司，中国  
Yunkun Xu ([email protected])，华为技术有限公司，中国  
Zifu Kou ([email protected])，华为技术有限公司，中国  
Jiayi Li ([email protected])，华为技术有限公司，中国  
Chong Chen ([email protected])，华为技术有限公司，中国  
Zhao Cao ([email protected])，中国人民大学，中国  
Li Shen ([email protected])，中山大学深圳校区，中国  

(0000)

**摘要。** 持续学习能力对于工业级LLM至关重要，因为部署后的模型必须不断更新以满足不断变化的需求和环境，而非反复从头开始重新训练。然而，现有研究大多聚焦于静态基准上的改进，未能捕捉真实的工业需求。本综述将工业级LLM的持续学习 (ICL) 重新定义为一个在版本化生态系统中的闭环更新与发布问题：更新在此生态系统中分层传播至工业模型、特定应用模型以及基于LLM的应用，同时在不同版本和模型家族间实现能力继承与迁移。从这一生态系统的视角出发，我们识别出三个核心挑战：重复适配侵蚀模型可塑性、基础模型升级中断能力继承、以及长期可持续性受部署资源约束所限。随后，我们围绕五个生命周期设计原则来组织ICL的技术格局：保留可塑性余量、将升级视为能力迁移、实现可信的持续强化学习、使训练流程自我优化，以及构建作为长期迭代基础层的问责机制。针对每个原则，我们综合了代表性的技术方向。最后，我们基于证据的视角评估了每个原则及其技术组件的成熟度，识别出阻碍实际部署的关键差距，并勾勒出实用的ICL部署蓝图以及将工业现实反哺学术研究的路径。  
工业持续学习、大语言模型、生命周期管理

††版权：ACM许可  
††期刊年份：0000  
††DOI：0000000.0000000  
††期刊：JACM  
††期刊卷号：00  
††期刊期号：0  
††文章编号：000  
††出版月份：0  
††版权：cc  
††期刊：CSUR  
††期刊年份：2026  
††期刊卷号：0  
††期刊期号：0  
††出版月份：1  
††DOI：00.0000/0000000  
††CCS：计算方法论 机器学习  
††CCS：计算方法论 学习范式  

## 1. 引言

图1：工业级LLM的自上而下生态系统：从基础模型到领域专用模型，再到工业任务的性能对比与案例研究。第一行展示了基础LLM，作为上游通用骨干模型；第二行展示了通过持续领域调优等过程从基础LLM构建的工业级LLM，覆盖多个代表性垂直领域（例如，用于编程的Qwen3-Coder-Next (Qwen团队, [n.d.])、用于网络安全的RedSage-8B-Base (Suryanto等人, 2026)、用于医疗的Baichuan-M3 (Team等人, 2026b)、用于金融的Fin-R1 (Liu等人, 2025b)以及用于法律的LegalOne-8B (Li等人, 2026)），突出其领域定制的专业能力。第三行展示了各领域内工业基准性能对比的条形图：蓝色条代表基础LLM，橙色条代表工业级LLM，显示出工业模型在大多数领域任务上的整体性能提升。第四行提供了与真实工业需求相一致的简要案例分析，例如编程领域的代码补全和软件重构，网络安全领域的恶意软件分析和钓鱼检测。

图2：左侧：工业持续学习作为一个**版本化模型生态系统**，而非单个模型在不同阶段间循环。 (a) **基础LLM**在多个家族内演化。家族内升级可能遵循**权重延续/检查点继承**（例如，v1→v1.1→v1.2）或通过数据、流程和配方实现的**隐性继承的重新训练**（例如，v1→v2→v3）。跨家族协同演化可通过**知识迁移**发生，通常通过**合成数据蒸馏**（可见性各异）。 (b) **工业级LLM**是基础家族经过领域调优的后代；切换基础版本可能产生继承断点，并触发下游领域的重新调优/刷新周期。 (c) **特定应用LLM**进一步将工业模型专业化以适配应用/产品目标（任务调优），形成自身版本链。 (d) **基于LLM的应用**集成了智能工作流和工具子代理，并受到上游模型持续更新（应用使能）的支持。右侧：一种常见的先前抽象将LLM的持续学习视为一个**单模型**、以阶段为中心的流程（CPT→CIT→CA）(Wu等人, 2024b)。虽然各阶段可能偶尔交错或重新进入（虚线），但该视角仍集中于单一谱系和单模型CL原语，掩盖了多层级、多家族的版本链、异构升级语义、跨家族知识迁移以及工业部署中的升级级联效应。

大语言模型 (LLM) 正在成为众多行业智能服务的骨干。然而，通用基础LLM的实际部署很快揭示了一个关键事实：通用能力并不能自动转化为在领域关键任务上可靠、合规且成本可控的性能。工业场景通常高度专业化，仅依靠基础LLM的广泛能力往往不足以满足关键任务的期望。图1从自上而下的生态系统角度说明了这一点。在编程、网络安全、医疗、金融和法律等垂直领域，工业级LLM不仅仅是应用层的包装器，而是通过持续的领域训练和对齐从基础LLM塑造而成的领域专家。更重要的是，图1第三行的条形图对比表明，工业模型（橙色）在同一领域的基准上往往优于基础模型（蓝色）。这种提升通常源于更好地匹配领域数据分布、重塑任务指令和目标，以及与领域特定约束的共同适应。因此，开发工业级LLM引发了一个研究与工程问题：在模型随时间反复更新的情况下，如何在满足合规性、延迟和成本约束的同时，维持领域关键性能。一旦LLM在真实工业环境中部署，它们便进入了一个持续演化的轨迹：它们必须在多次迭代中反复吸收新信息并适应新兴任务形式。在实践中，这种演化通常遵循图2左侧所示的渐进路径：从通过基础模型领域调优获得的工业模型开始，然后在具体的行业任务数据上进一步微调以生成特定应用LLM，最后与工具、工作流和交互系统集成，形成基于LLM的应用。因此，问题自然地从如何训练工业模型转变为如何长期维护和持续改进它——这正是本文所强调的工业持续学习 (ICL)。图2从生命周期角度刻画了这一区别：传统的持续学习 (Van de Ven等人, 2022; Wang等人, 2024c) 通常抽象为在任务序列上训练单个模型，侧重于在学习新任务时减少遗忘，评估通常围绕离线基准和一次性训练过程（图2右侧）。相比之下，图2左侧突出的ICL框架侧重于持续的、跨迭代和跨版本的更新。从生态系统角度，本综述强调了ICL面临的三个长期挑战。首先，**重复适配降低了可塑性**：持续的多阶段更新积累了干扰，逐渐使表征变得僵化，导致模型吸收新知识的能力减弱，无法长期良好演化 (C1)。其次，**升级中断了能力继承**：实践者要么停留在旧基础模型上持续更新以保留领域能力，但受限于旧版本的天花板；要么迁移到新基础模型以获得更强的通用能力，但必须重建领域和任务能力，导致资源重复投入 (C2)。第三，**更新受到隐私、计算、成本和延迟的约束**，这限制了我们能够观察到的东西，并常常使训练信号与部署目标错位 (C3)。为应对这些挑战，本综述将ICL重新定义为可持续的生命周期治理，而不仅仅是一个更强大的独立算法。为支持这一范式转变，与详尽罗列持续学习算法不同，我们围绕五个生命周期设计原则组织本综述。原则1不仅优化当前性能，还优化可衡量的可塑性余量；原则2将升级视为能力迁移而非检查点连续性；原则3将强化学习视为在嘈杂反馈下、具有明确漂移防护的长期学习；原则4使训练流程能够适应分布偏移和预算约束；原则5标准化发布标准和证据，使更新保持可比性、可审查性和可回滚性。基于这些原则，本综述提出了一个闭环工作流：监控驱动每次更新，明确做出迁移和训练选择，评估在不同版本间具有可比性，发布由回归风险把关且具备回滚就绪状态。在此循环中，可移植性来源于可重用的能力表征，例如增量、适配器、蒸馏数据和版本化评估，从而使升级成为系统性的能力迁移而非重复训练。此外，问责机制通过维护可审计的证据日志和决策接口来补充这一基础，记录了什么发生了变化、何时及为何发生变化、谁批准了该变更以及它如何影响了下游行为。最后，我们采用基于证据的方法对五个领域的20多个现有工业级LLM进行了评估。我们发现，当前工业级LLM实践中，五个核心设计原则（及其技术组件）的成熟度差异很大，并且很少被封装为可重用的更新工作流。基于这一成熟度评估，我们进一步识别出研究与应用之间的结构性差距：哪些组件接近直接可重用，哪些在学术环境中有效但缺乏足够的系统级证据，以及哪些能力在工业系统中至关重要但在研究文献中一直被低估。基于这些差距，我们提出了一个实用的技术蓝图：我们将每个ICL原则分解为具体的发展路径，阐明每个原则的相关场景、机制和可验证的产物，从而为工业团队提供一条通向长期可持续迭代系统的可行路线图。此外，基于行业实践的现状，我们勾勒出一系列实用且有价值的方向，以指导未来的学术研究。最后，我们突出以下主要**贡献**：
- 我们将ICL重新定义为版本化工业LLM生态系统中面向生命周期的更新与发布问题。
- 我们识别出ICL中的三个生命周期挑战：可塑性侵蚀、能力继承中断以及部署约束下的可持续性。
- 我们围绕五个设计原则组织技术格局，而非孤立的算法类别。
- 我们提供了基于证据约束的工业实践分析，并勾勒出实现可靠长期LLM演化的部署蓝图和研究路线图。

本文结构如下：第1节介绍了本综述的动机和范围。第2节回顾了传统的持续学习方法。第3节识别出ICL中的三个基本挑战。第4节提出了一个全面的分类体系以应对第3节中描述的各项挑战。第5节对来自五个不同领域的20多个LLM进行了基于证据的技术成熟度分析，最终得出具体的实践指南和有前景的未来研究方向。最后，第6节对全文进行总结。

## 2. 传统持续学习

传统持续学习研究模型如何从一系列任务或数据分布中获取新知识，同时保留先前学习到的能力。其核心张力是稳定性-可塑性权衡 (Robins, 1995; Dohare等人, 2024)：模型应保持足够的可塑性以学习新领域和新任务，同时足够稳定以避免在先验知识和通用能力上出现严重退化 (Alssum等人, 2025; Šliogeris等人, 2025; Song等人, 2025)。这种张力对于LLM尤为重要，因为其增量训练过程，例如图2中的持续预训练→持续指令调优→持续对齐，越来越多地被用于在部署后保持模型的最新状态。本节将现有方法分为四类：在新任务中回放少量历史数据、向目标函数添加约束、在架构层面隔离或扩展容量、以及