物联网环境中机器学习即服务（MLaaS）的测试时自适应组合

# 面向物联网环境中机器学习即服务（MLaaS）的测试时自适应组合
来源：https://arxiv.org/html/2606.07685

###### 摘要

物联网（IoT）环境的动态特性影响了机器学习即服务（MLaaS）组合的长期有效性。现有的自适应组合方法主要基于服务替换或重新组合，但识别合适的替代服务既困难又耗时。为解决这一问题，我们提出了一种面向物联网环境中MLaaS的新型测试时自适应（TTA）组合框架。首先，我们引入了一个基于TTA的可组合性模型，用于判断自适应后的服务是否仍能与现有组合兼容。接下来，我们设计了一个服务级自适应模型，在推理过程中调整单个服务，同时保持组合性能。实验结果表明，与传统自适应方法相比，该框架在降低计算时间方面更具优势。

## I. 引言

近年来，机器学习即服务（MLaaS）已成为现代云和物联网生态系统的关键组成部分。它提供了可扩展的工具来训练、部署和管理机器学习模型[18 (https://arxiv.org/html/2606.07685#bib.bib29)]。主要云服务提供商通过平台提供MLaaS，如Microsoft Azure¹、Amazon SageMaker²以及OpenAI ChatGPT³。物联网环境日益依赖MLaaS，以在医疗保健和智慧城市等领域利用AI驱动能力[8 (https://arxiv.org/html/2606.07685#bib.bib25)]。例如，医疗物联网公司Medtronic集成了IBM IQcast MLaaS，用于实时预测低血糖事件[14 (https://arxiv.org/html/2606.07685#bib.bib20)]。

物联网环境通常具有复杂的服务需求，例如多样化的功能、高准确率和低延迟。单个MLaaS服务可能无法始终满足这些需求[1 (https://arxiv.org/html/2606.07685#bib.bib34)]。MLaaS组合使物联网环境能够集成多个MLaaS服务，共同满足复杂的功能和QoS需求。例如，物联网环境可能需要针对不同用户（例如，不同的医疗状况）和不同传感器类型（例如，可穿戴传感器和环境传感器）的人体活动识别（HAR）服务[24 (https://arxiv.org/html/2606.07685#bib.bib45)]。为此，物联网环境组合了多个MLaaS服务，从而形成更鲁棒的HAR解决方案。

由于用户行为、数据分布和系统需求的变化，物联网环境本质上是动态的，这会影响组合性能[1 (https://arxiv.org/html/2606.07685#bib.bib34)]。现有的服务组合研究通常通过基于服务替代或重新组合技术的自适应方法来应对这一挑战[9 (https://arxiv.org/html/2606.07685#bib.bib23)]。然而，识别合适的替代服务具有挑战性且耗时，特别是在MLaaS的背景下[21 (https://arxiv.org/html/2606.07685#bib.bib60)]。此外，替代后的服务并不总能达到预期的性能[2 (https://arxiv.org/html/2606.07685#bib.bib27)]。

一种有效的替代替换或重新组合的方案是在服务组合层面实现个性化。在此层面应用个性化，可使MLaaS工作流动态适应异构的用户需求和数据特征[6 (https://arxiv.org/html/2606.07685#bib.bib21)]。这能提升整体性能和相关性，超越单个服务所能达到的效果。MLaaS服务本身就支持个性化，以适应不断变化的用户需求。据我们所知，在组合层面实现MLaaS服务的个性化仍未得到充分探索。因此，本文重点研究如何在MLaaS组合中实现个性化自适应。

为了在组合层面实现个性化自适应，我们利用了测试时自适应（TTA）——这是机器学习中一种处理模型部署后领域和数据分布漂移的新兴范式[22 (https://arxiv.org/html/2606.07685#bib.bib22)]。基于历史数据训练的模型在运行过程中常常会遭遇未见过的数据分布，导致性能下降。TTA允许模型使用未标记的测试数据自适应其内部参数，而无需重新训练，从而解决这一问题[13 (https://arxiv.org/html/2606.07685#bib.bib24)]。多个MLaaS平台（例如Azure、IBM Personalizer⁴）已经通过利用实时用户反馈和流事件来支持实时行为自适应。传统自适应依赖于服务替换，而TTA则可以在不替换服务的情况下，直接在组合运行时进行调整。

传统的TTA技术是为单模型场景设计的，不直接适用于MLaaS组合[20 (https://arxiv.org/html/2606.07685#bib.bib18)]。将TTA融入MLaaS组合可能会改变功能和QoS约束，从而影响可组合性，即多个服务在满足端到端需求的同时正确交互的能力[9 (https://arxiv.org/html/2606.07685#bib.bib23)]。现有研究主要依赖静态的功能和QoS属性来判断可组合性[4 (https://arxiv.org/html/2606.07685#bib.bib4),6 (https://arxiv.org/html/2606.07685#bib.bib21)]。然而，它们没有考虑TTA引入的内部模型变化，因此无法在自适应后准确判断可组合性。此外，TTA还可能引入跨服务效应，即某个服务的自适应会影响组合中其他服务的行为和性能[12 (https://arxiv.org/html/2606.07685#bib.bib134)]。现有研究主要在标准MLaaS设置下考察这些效应，并未探讨自适应引起的变化如何影响MLaaS中的可组合性。我们识别出在物联网的MLaaS组合中利用TTA实现个性化自适应面临以下关键挑战：

- • **个性化自适应**：个性化既可以在服务层面也可以在组合层面应用；然而，服务层面的自适应可能会改变内部行为，从而可能影响与其他服务的可组合性。这种变化可能会引入对特定输入模式的偏置，并破坏组合内部预期的交互。现有方法没有考虑TTA引起的自适应前变化对组合的影响，因此无法确保自适应后的服务保持兼容。此外，服务层面的TTA可能会在跨服务间引入意想不到的偏置和领域漂移，影响整体系统性能[26 (https://arxiv.org/html/2606.07685#bib.bib3)]。相反，在组合层面应用TTA可能导致跨服务的不稳定行为变化[7 (https://arxiv.org/html/2606.07685#bib.bib8)]。因此，需要一种有效的机制来监控和调节自适应，以便在保持整体组合稳定性的同时，保留单个服务的贡献。

为解决这些挑战，我们提出了一种面向物联网环境中MLaaS的新型测试时自适应（TTA）组合框架。首先，我们引入一个基于TTA的可组合性模型（TCM），用于判断自适应后的服务在MLaaS工作流中是否仍可组合。为此，我们设计了五条自适应可组合性规则，用于评估关键的适应性和兼容性因素。TCM确保局部服务自适应不会对组合MLaaS的兼容性和协作行为产生不利影响。在此基础上，服务级自适应模型（SAM）在服务层面调节个性化自适应更新，防止偏置和领域漂移降低整体组合性能。总体而言，该框架使MLaaS组合能够在不替换服务的情况下适应数据漂移。

## II. 相关工作

### II-A 自适应服务组合

MLaaS已成为将预训练模型集成到物联网应用中的有效范式[18 (https://arxiv.org/html/2606.07685#bib.bib29)]。由于多样化的功能和QoS需求，近年来的研究越来越关注MLaaS的组合与联邦，以改进决策[25 (https://arxiv.org/html/2606.07685#bib.bib47),24 (https://arxiv.org/html/2606.07685#bib.bib45),11 (https://arxiv.org/html/2606.07685#bib.bib136),17 (https://arxiv.org/html/2606.07685#bib.bib26)]。在动态物联网环境中，自适应组合对于在不断变化的数据分布和系统需求下维持性能至关重要[6 (https://arxiv.org/html/2606.07685#bib.bib21)]。现有的自适应组合方法主要依赖于语义匹配、QoS属性、行为规划和上下文因素，以支持运行时替换或重新组合[4 (https://arxiv.org/html/2606.07685#bib.bib4),3 (https://arxiv.org/html/2606.07685#bib.bib11),23 (https://arxiv.org/html/2606.07685#bib.bib37)]。例如，语义驱动框架使用基于本体的功能匹配和QoS排名进行服务替换[6 (https://arxiv.org/html/2606.07685#bib.bib21)]，而最近的MLaaS研究则采用监控驱动的重新组合来替换性能下降的服务[9 (https://arxiv.org/html/2606.07685#bib.bib23)]。尽管这些技术提高了适应性，但它们严重依赖识别合适的替代服务，这通常耗时且不切实际。此外，现有的可组合性技术主要依赖于静态的语义、QoS、上下文或基于规则的特征，很少考虑自适应过程中内部模型行为的变化[4 (https://arxiv.org/html/2606.07685#bib.bib4),3 (https://arxiv.org/html/2606.07685#bib.bib11),23 (https://arxiv.org/html/2606.07685#bib.bib37)]。相比之下，TTA引入了新的可组合性挑战，因为个性化自适应可能改变内部模型特征并影响兼容性，这是一个尚未充分探索的问题。

### II-B 测试时自适应

在机器学习和联邦学习中，TTA已成为处理数据和领域漂移而无需重新训练的有效解决方案。然而，它在自适应MLaaS组合中的应用仍未被充分探索。标准的TTA方法，如TTA-BN[20 (https://arxiv.org/html/2606.07685#bib.bib18)]、TTA-GRAD[22 (https://arxiv.org/html/2606.07685#bib.bib22)]和TTA-MEMO[27 (https://arxiv.org/html/2606.07685#bib.bib16)]，通过归一化对齐、熵最小化和基于梯度的自适应来更新模型。在组合设置中，由于服务间的交互，统一集成此类更新可能会引入偏置和领域漂移。虽然最近的工作在传统设置中通过逐层自适应[19 (https://arxiv.org/html/2606.07685#bib.bib6),16 (https://arxiv.org/html/2606.07685#bib.bib7)]或联邦学习中的基于相似性的聚合[26 (https://arxiv.org/html/2606.07685#bib.bib3)]解决了这一问题，但这些策略并不适用于必须考虑系统级依赖关系的MLaaS组合。这凸显了在服务层面和组合层面都需要受控的测试时自适应组合，以保持整体稳定性。

## III. 关键定义与问题陈述

本节介绍了理解MLaaS组合中的TTA问题的关键定义。

**定义1 (MLaaS服务)**。一个MLaaS服务 $M$ 由元组 $M = \langle id, \mathcal{F}_{m}, QoS_{m} \rangle$ 表示，其中：
- $id$ 表示MLaaS服务的唯一标识符。
- $\mathcal{F}_{m}$ 是功能规范，包含所需的模型参数，包括模型权重 $w$、表示权重 $w$、缩放因子 $\gamma$ 和偏置 $\beta$ 调整的逐层梯度更新 $\Delta \theta$，以及批归一化（BN）参数，包括缩放因子 $\gamma$、偏置 $\beta$、BN统计量均值 $\mu_{BN}$ 和方差 $\sigma^{2}_{BN}$。
- $QoS_{m}$ 表示评估指标，如准确率、精确率、召回率或其他任务特定度量。

**定义2 (自适应MLaaS组合)**。MLaaS组合指的是多个ML服务的集成，其参数或更新被聚合起来形成一个统一模型以完成共享任务[24 (https://arxiv.org/html/2606.07685#bib.bib45),9 (https://arxiv.org/html/2606.07685#bib.bib23)]。在动态环境中，组合可以通过服务替换或测试时自适应来维持系统目标。设 $\{M_{c}\} = \{M_{1}, \dots, M_{n}\}$ 表示一组服务，其中每个服务 $M_{i}$ 贡献参数 $\theta_{i}$。组合模型定义为：
$$M_{c}^{t} = \sum_{i \in \mathcal{S}^{t}} \tilde{\theta}_{i}^{\,t} \quad (1)$$
其中 $\mathcal{S}^{t}$ 表示在自适应步骤 $t$ 时的活跃服务集，$\tilde{\theta}_{i}^{\,t}$ 表示服务 $M_{i}$ 的有效贡献，该贡献可能因替换或内部自适应而随时间演化。

**问题陈述**：一个MLaaS组合 $M_{c} = \{M_{1}, \ldots, M_{n}\}$ 旨在共同满足功能和QoS目标（见定义1），对连续的物联网数据流 $X = \{x_{t}\}_{t=1}^{\infty}$ 进行预测。随着时间的推移，输入数据分布的漂移可能导致性能下降，因此需要自适应。问题在于确定如何在 $M_{c}$ 内部应用TTA。在此设定下，首先识别出性能不佳的服务，对其应用TTA，修改其内部参数（见定义1），产生自适应后的服务 $M^{*}$。关键挑战在于判断 $M^{*}$ 是否仍然与表现正常的服务集 $M_{c}^{p}$ 可组合，并且能否在不破坏组合内部服务间依赖关系的情况下被集成。这由可组合性得分函数 $\mathcal{CS}(M_{c}^{p}, M^{*})$ 决定，定义如下：
$$\mathcal{CS}(M_{c}^{p}, M^{*}) = \begin{cases} 1, & \text{if } M^{*} \text{ aligns with } M_{c}^{p} \\ 0, & \text{otherwise} \end{cases} \quad (2)$$
一旦确定了可组合性，自适应后的服务必须通过一个服务级TTA模型集成到组合中，该模型会根据表现正常的组合 $M_{c}^{p}$ 来调控其影响。这可以表示为：
$$\text{SAM}(M_{j}^{*}, M_{c}^{p}) \rightarrow \text{stable integration} \quad (3)$$

（见图1说明）
图1：提出的TTA MLaaS组合框架

## IV. 物联网环境中MLaaS组合中的测试时自适应

所提出的基于TTA的MLaaS组合框架如图1所示。一旦被触发，TTA在服务层面和组合层面同时应用。在服务层面，对性能不佳的服务应用TTA，同时基于TTA的可组合性模型评估其与其余表现正常服务的兼容性。在此基础上，服务级自适应模型在执行受控自适应时，同时保持交互约束。

### IV-A 测试时可适应性规则

我们引入了从机器学习和联邦学习的TTA研究中推导出的测试时可适应性规则[19 (https://arxiv.org/html/2606.07685#bib.bib6),22 (https://arxiv.org/html/2606.07685#bib.bib22),27 (https://arxiv.org/html/2606.07685#bib.bib16)]。TTA修改内部模型参数，包括权重 $W$。