物联网环境中机器学习即服务（MLaaS）的性能漂移检测

# 面向物联网环境的机器学习即服务性能漂移检测
来源：https://arxiv.org/html/2608.18555  
Sajib Mistry https://orcid.org/0000-0001-7513-3789  
Sheik Mohammad Mostakim Fattah https://orcid.org/0000-0002-9103-6089  
Erik Elmroth https://orcid.org/0000-0002-2633-6798  
Aneesh Krishna https://orcid.org/0000-0001-8637-5732  
及 Monowar Bhuyan  

致谢：  
Deepak Kanneganti、Sajib Mistry、Sheik Mohammad Mostakim Fattah 和 Aneesh Krishna 隶属于澳大利亚珀斯科廷大学电气工程、计算与数学科学学院 \(EECMS\)（电子邮箱：\{s\.kanneganti, sajib\.mistry, sheik\.fattah, a\.krishna\}@curtin\.edu\.au\)。  
致谢：  
Erik Elmroth 和 Monowar Bhuyan 隶属于瑞典于默奥大学计算科学系（电子邮箱：\{elmroth, monowar\}@cs\.umu\.se\)。  

###### 摘要
机器学习即服务（MLaaS）是一种强大的云端范式，它能在物联网（IoT）环境中实现数据驱动的智能应用，因其成本效益而在医疗、智能家居和工业等领域被广泛采用。然而，物联网环境的动态特性经常改变数据分布，影响MLaaS的稳定性，同时MLaaS的周期性更新进一步引入性能漂移。与传统ML系统不同，MLaaS客户端作为黑盒用户运行，无法访问内部数据或参数，这使得漂移检测尤其具有挑战性。为解决此问题，我们提出了一种新颖的用于物联网环境的MLaaS性能漂移检测框架。该框架首先采用一个MLaaS提取模型，从输入-输出对中学习服务行为并识别影响预测的特征。在此基础上，提出的MLaaS性能漂移检测（MPDD）模型联合捕捉输入数据和MLaaS行为的变化。我们进一步设计了自适应时间性能漂移检测机制（APDDM），该机制根据行为和数据变化动态调整监控频率，从而实现及时的漂移检测以进行有效的服务管理。在真实数据集上的大量实验表明，与基线漂移检测方法相比，MPDD的准确率提高了22–25%。与固定间隔监控相比，APDDM平均准确率提高约4%，并将漏检率降低了约9%。  

###### 关键词
机器学习即服务，物联网，性能漂移，漂移检测，模型监控  

## I 引言
机器学习即服务（MLaaS）是一种流行的基于云的服务，它提供可扩展的基础设施和工具来构建、训练和部署ML模型[29]。这些服务消除了管理硬件和手动设计ML模型的复杂性。MLaaS通常通过Web界面、应用程序接口（API）或软件开发工具包（SDK）进行访问。主要提供商如Microsoft Azure、AWS SageMaker和OpenAI ChatGPT API提供了全面的MLaaS解决方案。MLaaS服务通常分为平台型MLaaS（PMLaaS）（用于集中式训练和存储，例如AWS SageMaker）和推理型MLaaS（IMLaaS）（用于使用预训练模型进行本地预测，例如Google Activity Recognition）。物联网公司通常依赖IMLaaS来增加智能功能，而无需内部训练模型。例如，医疗物联网提供商美敦力在其应用程序中集成了来自IBM IQcast的IMLaaS，以预测低血糖事件。客户端通常使用来自其环境的真实数据来评估这些服务，以评估功能属性（例如模型和数据规格）和服务质量指标（例如效率和可扩展性）。  

然而，IMLaaS模型的性能并非静态，可能会随时间变化。这主要由两个因素造成：1）物联网环境的动态性，数据模式不断演变；2）MLaaS更新，提供商定期更新服务，超出了客户的控制范围。因此，客户端可能会随时间经历性能漂移。性能漂移是指IMLaaS预测能力随时间逐渐下降，反映在准确率、精确率或F1分数等指标上。当输入数据X和输出标签y之间的底层关系发生变化时，就会发生性能漂移，这种现象被称为概念漂移。物联网环境高度动态，由于用户行为、传感器分布和系统要求的演变，使得客户端难以维持MLaaS服务的可靠性。例如，一个使用谷歌Activity Recognition API进行健康监测的物联网环境，可能会因为患者年龄、健康状况或活动能力的变化导致传感器数据随时间改变，从而面临准确率下降的问题，导致性能漂移。此外，MLaaS提供商定期更新或重新训练其模型，这可能进一步导致性能漂移。  

因此，物联网环境需要定期收集真实数据来监控MLaaS性能。然而，收集真实数据需要大量的时间和精力，成本高昂且常常不切实际。关键挑战在于不依赖持续的真实数据收集来及时检测性能漂移。为解决此问题，我们提出了一种MLaaS性能漂移检测模型，该模型无需持续的真实数据即可运行。传统的ML漂移检测方法通常依赖于监控与误差相关的指标（例如准确率）。这些方法假设有及时获取真实标签，这在现实部署中往往不可行。因此，无标签漂移检测技术侧重于监控内部模型参数、训练数据特征或输入数据分布以识别偏移。例如，DRIFTLENS和Type-LDD等方法分析训练数据属性和内部模型参数（例如权重和梯度）以推断分布变化，而其他方法仅依赖可观察的输入数据，并使用统计测试或判别模型来检测输入数据分布中的偏移。然而，这些技术可能无法直接应用于MLaaS环境，因为MLaaS的黑盒性质——出于安全和专有约束，服务提供商不暴露内部参数或训练数据。此外，仅依赖输入数据特征变化的方法主要捕捉分布变异，无法确定在变化的物联网流中，这些变化是否确实改变了已部署的MLaaS服务的预测行为。因此，变化的物联网数据与MLaaS输出行为之间的关系仍未被建模。因此，物联网环境需要一种有效的机制，能够明确捕捉输入数据演变与可观测MLaaS输出之间的相互作用，以准确识别性能漂移并支持可靠的服务管理。  

据我们所知，MLaaS中的性能漂移检测仍然是一个尚未充分探索的问题。我们识别出在物联网环境中检测MLaaS性能漂移的两个关键挑战：
- •如何在无真实数据的情况下检测MLaaS性能漂移？：物联网环境的动态性可能导致输入数据模式的变化，从而影响MLaaS性能。物联网环境需要持续收集真实数据来评估这些服务，这既耗时又常常不切实际。现有研究通常分析输入数据分布的统计特性来检测漂移，但分布变化并不一定意味着MLaaS性能的变化。我们将此现象视为伪漂移（见定义3）。此外，MLaaS提供商定期更新或重新训练其模型，而物联网环境无法访问内部训练数据、特征分布或参数更新。这凸显了需要能够联合捕捉输入数据变化和MLaaS行为的机制，以在无真实数据的情况下区分性能漂移。
- •应该多久重新评估一次MLaaS？：第二个关键挑战是确定监控MLaaS的合适时间周期。由于MLaaS性能可能因输入数据分布和MLaaS行为的变化而下降，使用固定或不适当的间隔可能导致检测性能漂移时的过度敏感（短间隔）或不敏感（长间隔）。例如，如果每五分钟评估一次MLaaS，漂移检测技术可能会持续生成伪漂移通知，反映了一个过度敏感的设置，带来不必要的计算成本和资源消耗。相反，如果仅每隔几小时评估一次，系统可能无法及时捕捉变化并检测到真正的漂移。这凸显了需要一种自适应的时间可变机制，能够调整其评估周期以检测性能漂移并支持物联网环境中有效的服务管理决策。  

为应对这一挑战，我们提出了一种MLaaS性能漂移检测框架，它无需持续收集真实数据即可识别性能下降。该框架基于MLaaS性能漂移检测模型（MPDD）构建，该模型确定何时应重新评估MLaaS以检测潜在漂移。首先，我们设计了一个MLaaS提取模型，利用物联网输入数据和MLaaS输出来模拟MLaaS行为并识别关键输入特征，而无需访问黑盒MLaaS参数或训练数据。接下来，我们设计了两个互补的分数：弗雷歇数据漂移分数（FDDS）和MLaaS感知漂移暴露分数（MDES），以捕捉输入数据的变化及其对MLaaS行为的影响。然后，我们提出了MLaaS性能漂移检测模型，该模型捕捉输入数据与MLaaS行为之间的关系，使得在不依赖真实标签的情况下能够检测真实漂移和伪漂移。最后，我们提出了自适应时间性能漂移检测机制（APDDM），该机制动态调整评估间隔，以缓解过度敏感和不敏感问题，支持物联网环境中有效的服务管理决策。我们的贡献总结如下：
- •我们提出了一个为物联网环境设计的MPDD框架，它无需依赖真实数据即可识别黑盒MLaaS模型中的性能下降。
- •我们开发了一个MLaaS提取模型，利用输入-输出对来近似MLaaS行为。
- •我们提出了一种新颖的MPDD模型，该模型联合捕捉输入数据与MLaaS行为之间的关系，从而实现性能漂移的准确识别。
- •我们提出了一种APDDM，它动态调整评估间隔以平衡过度敏感和不敏感问题。

## II 相关工作
### II-A 基于错误率的漂移检测
部署在物联网环境中的ML服务常因底层数据生成过程的变化（通常称为概念漂移）而随时间出现性能下降。物联网数据流学习的先前研究提出了多种漂移检测技术，这些技术主要依赖于可观察的错误率信号。经典错误监控检测器，如漂移检测方法（DDM）和早期漂移检测方法（EDDM），以及自适应扩展方法，如反应式漂移检测方法（RDDM）和自适应窗口（ADWIN），通过监控滑动或自适应窗口内预测误差的变化来识别漂移。更高级的变体，包括基于霍夫丁的方法如HDDM和FHDDM，通过基于霍夫丁界限的统计测试提高了敏感性。近期研究还探讨了物联网流环境中的漂移感知分析。Yang和Shami提出了一个轻量级物联网异常检测框架，使用滑动窗口监控和动态重训练来处理演变的传感器和网络流量流。类似地，FedConD引入了一个联邦物联网传感器学习框架，通过监控来自分布式本地模型的历史预测行为来检测漂移。尽管解决了面向物联网的流场景，这些方法仍然依赖于可观察的预测误差和持续获取真实标签。这种假设在现实物联网部署中通常不切实际，因为从分布式传感器设备获取可靠的标记反馈存在成本、延迟和困难。

### II-B 黑盒、无标签漂移检测方法
基于输入数据和分布的检测方法侧重于分析输入数据流的变化，而非输出错误。这些技术依赖于统计散度度量，如最大均值差异（MMD）、科尔莫哥洛夫-斯米尔诺夫距离和弗雷歇（Wasserstein-2）距离来识别分布偏移。基于MMD的方法随时间比较数据片段，但通常需要较大的观测窗口，这在黑盒环境中限制了响应性。类似地，DRIFTLENS使用训练数据表示和内部模型参数进行无监督潜在特征分析来检测漂移，但其有效性依赖于对模型内部结构和训练信息的访问，而这在面向服务的设置中通常不可用。Type-LDD框架使用在合成数据上预训练的多任务共享损失函数来制定漂移检测，以捕捉漂移时间和类型，但假设训练数据和与模型结构对齐的语义知识可用。最近