面向专业模型自适应开发的开放式场景推理

# 面向专家模型的自适应开放场景推理
来源：https://arxiv.org/html/2607.06625
Youcheng Zonghttps://orcid.org/0009-0008-6795-8412\{\}^\{\\lx@orcidlink\{0009\-0008\-6795\-8412\}\{\\orcidlogo\}\}, , Runda Jiahttps://orcid.org/0000-0002-8586-243X\{\}^\{\\lx@orcidlink\{0000\-0002\-8586\-243X\}\{\\orcidlogo\}\}, Ranmeng Linhttps://orcid.org/0009-0006-3829-4472\{\}^\{\\lx@orcidlink\{0009\-0006\-3829\-4472\}\{\\orcidlogo\}\}, Mingxuan Renhttps://orcid.org/0009-0001-0172-5914\{\}^\{\\lx@orcidlink\{0009\-0001\-0172\-5914\}\{\\orcidlogo\}\}, and Dakuo Hehttps://orcid.org/0000-0001-8303-529X\{\}^\{\\lx@orcidlink\{0000\-0001\-8303\-529X\}\{\\orcidlogo\}\}本工作受中央高校基本科研业务费专项资金资助，中国（N26GFZ006）。（通讯作者：Runda Jia。）Youcheng Zong, Runda Jia, Ranmeng Lin, Mingxuan Ren, and Dakuo He 单位为东北大学信息科学与工程学院，沈阳 110004，中国（电子邮件：[email protected]; [email protected]; [email protected]; [email protected]; [email protected]）。源代码获取地址：https://github.com/mituan-ai/ROAM_open。

###### 摘要

过程工业积累了大量经过验证的专家模型，然而传感器漂移、原料变化和工况切换会导致这些模型在新场景下系统性退化。收集新的标记数据并重新训练成本高昂，而继续使用原始模型则会产生持续偏差。现有的自适应方法需要利用充足的标记数据修改模型参数，难以在已部署系统上快速响应。将大语言模型作为直接预测器会带来幻觉风险和不可控输出。这类预测器也无法纳入来自现场的、非结构化的场景知识。为解决这些局限，本文提出面向专家模型的推理驱动开放自适应框架（ROAM），该框架利用大语言模型的世界知识和推理能力，将冻结的专家模型自适应到未见场景，而无需重新训练。ROAM将所有修正限制在一个低维、语义可解释的潜在空间内。大语言模型生成的场景判断与在线观测在一个统一的概率框架下进行融合。一种风险约束机制可在大语言模型证据不可靠或场景突变时抑制修正，并在证据不足时回退至原始冻结模型。在矿物浓缩脱水过程及公开的IndPenSim青霉素发酵数据集上的实验表明，在隐藏偏移等主要偏移设定下，ROAM使平均绝对误差降低超过20%，仅增加839个参数和不到0.02毫秒的单步开销。这些结果表明，大语言模型的推理能力可以转化为针对已在役工业模型的保守自适应信号。

## 给从业者的说明

本文源于过程工厂中的一个实际问题：质量、浓度或产量等关键变量通常无法连续测量，因此自动化系统依赖软传感器进行在线估计。这些模型在部署前已通过验证，但在传感器漂移、原料变化、设备维护或控制策略切换后，其估计值可能逐渐偏离真实过程。新的采样、实验室分析和重新训练可能需要数小时或数天。在此期间，有偏的估计值会影响控制、报警和生产调度。ROAM旨在作为现有软传感器外部的自适应层。它在新的运行时段开始时读取工况切换日志、维护记录和一小部分过程信号，然后判断当前误差更可能源于测量偏差、量程变化、负荷变化、动态响应变化还是输出关系变化。随后，ROAM仅对模型输出施加一个有界修正。当记录不清晰、信号冲突或新状态与已知操作相差太远时，它会减少修正或返回原始模型。实际价值在于，能在异常或新工况早期减少持续偏差，从而让经过验证的模型资产继续服役，提升质量估计的可靠性，并减少紧急重新训练的需求。当前方法仍需要可用的现场记录，并假设主要运行条件在单个时段内不会频繁变化。未来工作应连接报警序列、巡检图像、维护系统和操作员反馈，并在更长时间闭环生产中测试该方法。除浓缩脱水和发酵过程外，类似思路可能支持能源负荷预测、设备健康监测以及其他需要保留现有模型认证的自动化应用。

## I 引言

过程工业（包括矿物加工、石油化工和生物制药）已积累了经验证的数据驱动专家模型，用于关键质量变量的软测量[17 (https://arxiv.org/html/2607.06625#bib.bib21),34 (https://arxiv.org/html/2607.06625#bib.bib2),10 (https://arxiv.org/html/2607.06625#bib.bib3),24 (https://arxiv.org/html/2607.06625#bib.bib26)]。相关研究已解决动态建模、基础模型迁移、数据缺失、部分标签和物理一致性等关键建模约束[32 (https://arxiv.org/html/2607.06625#bib.bib32),22 (https://arxiv.org/html/2607.06625#bib.bib33),30 (https://arxiv.org/html/2607.06625#bib.bib34)]。这些模型在训练条件下表现良好，但一旦出现传感器漂移、原料变化、工况切换或设备老化导致的数据分布偏移，其性能就会系统性下降[25 (https://arxiv.org/html/2607.06625#bib.bib1)]。例如，在矿物浓缩脱水过程中，底流浓度的软测量直接决定脱水效率和尾矿库存储安全。原料特性、沉降动力学和观测路径等偏移源会同时作用于同一模型。重新标记和重新训练成本高昂且工程窗口狭窄，而继续使用原始模型则会导致系统性偏差。这一困境在过程工业中普遍存在[39 (https://arxiv.org/html/2607.06625#bib.bib24)]。

现场工程师通常掌握场景层面的知识，如矿石品位下降或试剂配方变化，这些信息记录在维护日志和交接班报告中，但已部署的模型没有机制来利用这类证据。现有自适应策略在三个层面上回避了这一问题。参数更新方法（如迁移学习、域适应和元学习）假设参数可修改，违反了冻结约束，且仅从数据分布中获取信号[1 (https://arxiv.org/html/2607.06625#bib.bib12),35 (https://arxiv.org/html/2607.06625#bib.bib11),9 (https://arxiv.org/html/2607.06625#bib.bib22)]。基于大语言模型的方法将大语言模型置于预测循环内，缺乏不确定性控制[3 (https://arxiv.org/html/2607.06625#bib.bib13),6 (https://arxiv.org/html/2607.06625#bib.bib14)]。事后可解释性方法则将诊断与自适应完全分离[15 (https://arxiv.org/html/2607.06625#bib.bib19)]。这些盲点都归结为一个根本原因：开放证据鸿沟。场景知识以非结构化的、不确定的文本形式存在，而安全自适应需要结构化的、量化不确定性的修正。弥合这一鸿沟需要从更新模型参数转向更新场景状态的信念。

参考图注
图1：工业专家模型的自适应范式。(a) 参数更新方法直接修改θ，存在使已验证行为退化的风险，且无法接入开放文本证据。(b) 大语言模型作为预测器的方法将大语言模型嵌入预测循环，缺乏显式的不确定性控制。(c) ROAM冻结θ，并仅将大语言模型用作循环外的先验引擎。自适应限制在一个低维语义潜在修正空间内，通过贝叶斯后验更新进行融合，并经过多层风险门控过滤。当证据不足时，系统回退至基线预测。

如图1 (https://arxiv.org/html/2607.06625#S1.F1)(c)所示，我们提出面向专家模型的推理驱动开放自适应框架（ROAM），将自适应重新构建为信念更新问题。ROAM将所有自适应自由度限制在一个语义锚定的低维潜在空间内。大语言模型仅作为外部结构化先验引擎，提供带有校准不确定性的信念判断，而不进入预测管道。语义先验与异构在线观测通过贝叶斯后验更新在一个概率框架内融合。整个自适应链被设计为保守的：当证据不足时，系统回退至原始冻结预测。这种解耦设计允许独立升级大语言模型和专家模型，而无需相互重新验证。主要贡献如下。

- •我们提出ROAM框架，利用大语言模型的世界知识和推理能力，使冻结模型无需重新训练即可自适应到未见场景。
- •我们引入一种风险约束机制，在大语言模型幻觉、证据不足或场景突变时抑制不可靠修正，并支持回退至原始冻结模型。
- •在浓缩脱水过程和青霉素发酵基准上，ROAM在主要偏移设定下实现了显著的跨骨干网络性能提升，仅需约0.02毫秒的额外推理开销。

本文其余部分组织如下。第II节 (https://arxiv.org/html/2607.06625#S2)回顾相关工作，第III节 (https://arxiv.org/html/2607.06625#S3)介绍所提出的ROAM框架，第IV节 (https://arxiv.org/html/2607.06625#S4)报告实验结果，第V节 (https://arxiv.org/html/2607.06625#S5)总结全文。

## II 相关工作

### II-A 参数更新自适应

迁移学习通过微调参数实现到目标域的自适应[1 (https://arxiv.org/html/2607.06625#bib.bib12)]；域适应则对齐特征分布以减少跨域差异[35 (https://arxiv.org/html/2607.06625#bib.bib11)]。跨域工业诊断进一步利用原型或可迁移特征来减小域间差距[2 (https://arxiv.org/html/2607.06625#bib.bib35)]。元学习通过情节训练获得快速自适应能力[38 (https://arxiv.org/html/2607.06625#bib.bib25)]；在线学习以及测试时自适应在部署时持续更新参数[28 (https://arxiv.org/html/2607.06625#bib.bib23)]。这些方法的前提都是模型参数是自适应的合法自由度。然而，在工业部署中，专家模型在验证后被冻结；修改参数会使认证失效并引入退化风险[25 (https://arxiv.org/html/2607.06625#bib.bib1)]。即使参数可更新，自适应信号也完全来自数据分布，无法利用文本形式的场景知识。

### II-B 工业预测中的大语言模型

近期研究从三个角度将大语言模型引入工业预测和决策支持。第一种将大语言模型作为预测模型的一部分，通过微调、适配器或跨模态对齐，将文本因素或语义嵌入与电池健康估计、负荷预测、非平稳时间序列预测和故障诊断相结合[3 (https://arxiv.org/html/2607.06625#bib.bib13),6 (https://arxiv.org/html/2607.06625#bib.bib14),8 (https://arxiv.org/html/2607.06625#bib.bib28),13 (https://arxiv.org/html/2607.06625#bib.bib29)]。第二种将大语言模型用作离线知识源，为图神经网络提供物理信息先验，或构建工业知识图谱[31 (https://arxiv.org/html/2607.06625#bib.bib27),19 (https://arxiv.org/html/2607.06625#bib.bib15)]。第三种关注人机协作决策支持，大语言模型集成现场知识并为复杂工业过程（如冶金）生成操作建议[37 (https://arxiv.org/html/2607.06625#bib.bib30)]。同时，近期分析表明，大语言模型在时间序列预测中相对于简单基线方法的实际收益需谨慎评估[26 (https://arxiv.org/html/2607.06625#bib.bib20)]。融合多模态证据和动态变量依赖性的工业诊断工作进一步表明，开放证据可支持现场状态判断，但这类证据通常用于诊断或分类，而非对冻结预测模型进行保守修正[29 (https://arxiv.org/html/2607.06625#bib.bib36),21 (https://arxiv.org/html/2607.06625#bib.bib37)]。这些方向表明，大语言模型可以提供互补的语义、知识层面和决策层面的信息，但未能解决安全自适应所需的结构化信念问题。预测循环内的方法通常缺乏显式的不确定性控制。离线知识注入方法主要在训练时使用静态知识。人机协作系统强调操作建议，但未为冻结预测模型提供可审计的修正机制。因此，大语言模型的语义判断（例如“发生了传感器漂移”）仍需转化为带有置信度和边界的结构化信念。否则，将大语言模型与专家模型耦合意味着升级任一组件都需重新验证整个系统。

### II-C 可解释性、不确定性与安全性

XAI-FD将对抗自编码器与SHAP结合用于事后归因[15 (https://arxiv.org/html/2607.06625#bib.bib19)]；CDGNN通过因果解耦图神经网络分离因果和偏差子结构[20 (https://arxiv.org/html/2607.06625#bib.bib16)]。这些方法将可解释性视为事后分析层：解释不影响自适应，也没有闭环机制将诊断转化为修正。贝叶斯方法、概率集成和统计特征学习为工业过程中的不确定性量化和在线故障诊断提供了有原则的工具[4 (https://arxiv.org/html/2607.06625#bib.bib17),16 (https://arxiv.org/html/2607.06625#bib.bib18),33 (https://arxiv.org/html/2607.06625#bib.bib38),18 (https://arxiv.org/html/2607.06625#bib.bib39)]。然而，现有贝叶斯方法量化的是模型参数或输出的不确定性，而非自适应过程本身的不确定性。很少有方法将安全性纳入自适应设计，或在证据不足或矛盾时自动抑制修正。ROAM是首批将大语言模型置于预测循环之外作为结构化先验引擎、在部署时通过贝叶斯后验更新进行在线证据融合、并通过多层风险门控确保安全回退的框架之一。第III节 (https://arxiv.org/html/2607.06625#S3)将详细描述该框架。

## III 方法

### III-A 概述

ROAM包含离线阶段和在线阶段。离线阶段在训练场景上学习一组低容量线性映射，建立从骨干网络隐藏状态到五维语义潜在空间的一个自适应流形（第III-C节 (https://arxiv.org/html/2607.06625#S3.SS3)）。在线阶段对于每个新情节执行三个阶段：语义先验构建（第III-B节 (https://arxiv.org/html/2607.06625#S3.SS2)）、结构化贝叶斯融合（第III-D节 (https://arxiv.org/html/2607.06625#S3.SS4)）以及风险约束与回退（第III-E节 (https://arxiv.org/html/2607.06625#S3.SS5)）。