基于IBM时序模型与Confluent的实时智能

来源：https://huggingface.co/blog/ibm-research/real-time-intelligence

基础模型变革了企业从非结构化数据中挖掘价值的方式。而更大的机遇在于流数据——那里蕴藏着关键业务决策的核心：订购多少、何时停止支付、泵何时会发生故障、生产线应以多大负荷运行，以及上次类似情况发生时的应对措施。如今，IBM与Confluent正携手将这种能力原生融入数据流，模型现已在Confluent Cloud的**早期访问（https://events.confluent.io/early-access-flink-features）**中上线，直接运行于数据流动之处，后续也将部署于Confluent平台。

迄今为止，这些决策一直依赖过时的经济学：一次只运行一个定制模型，每个模型都需要数月专家工作。因此团队只为产生收益的数百个时间序列建模，其余则依靠安全边际、额外库存、冗余容量和容错机制来应对，且往往在窗口期关闭后才采取行动。这种边际正是无人能预测的决策之成本，每个周期都在支付。

时序基础模型（TSFM）改变了这一切。它经过海量多样信号的训练，能够泛化至从未见过的序列：输入一个测量窗口，它就能预测后续值、判断行为偏离正常程度、匹配历史相似案例，并找出最符合目标的最佳设置。使用它也无需庞大的数据科学团队：需求规划师、欺诈分析师或流程工程师都能在自己的数据流上部署这些模型。围绕这些模型，IBM正在构建将工作前置的功能，使预测、异常检测、优化和语义智能成为可直接调用的能力，而非需要构建的项目。

设想一条巧克力工厂的调温生产线，其温度、速度和产量每几秒采样一次，对照固定阈值进行监控。将基础模型投入该数据流，它能预测夜班期间的生产线输出，使规划师在仍有时间行动时就能发现缺口。它会对比生产线在黑巧克力生产中的常规行为进行评分，使缓慢的漂移在巧克力条出现斑点前就浮现。它还能在工厂历史中找到最相似的案例，让工程师了解上次类似运行的结果。它能根据工人可控的参数进行条件调整，并在追求最后几点精度提升时进行微调。无需数据科学团队，同一个模型可推广至每个工厂的所有生产线。

IBM在提供这些模型之前，先在自己的产品和运营中进行了测试，随后与水泥、钢铁、纸浆造纸、食品和电信领域的合作设计伙伴共同验证。数据证明了一切：每个百分点的精度提升价值数百万美元，生产力提升达5到10倍，原本等待专家处理的工作现在由拥有决策权的领域专家直接掌控。

现在，这种经过验证的能力与实时场景相结合：IBM带来理解信号行为规律的前沿模型，背后有超过4400万次下载量；Confluent则提供实时的业务状态以及触达每个执行系统的通道。两者结合，实现流原生运行，托管于Confluent Cloud并通过Flink调用。访问权限现已在AWS上的Confluent Cloud开放。Confluent平台随后跟进，将相同的模型和能力带给本地及混合环境。

时序智能与实时场景相遇：零配置、内置治理与高效性

通常用于将模型部署到生产环境的数月时间现在可以节省下来：Granite读取信号，Confluent提供上下文、治理以及向所有下游系统的交付。

信号的价值随时间衰减：今天发现泵出现漂移尚可生成工单，下周发现同样的问题就可能导致停机。

预测和检测是有状态的：下一个值只有与近期历史对比才有意义，异常也只有基于持续的正常感知才能存在。Flink管理这些状态，按序列键控并具备容错性，使每个模型都能获得所需历史记录，无需单独的数据存储或每次调用访问数据库。

这正是价值倍增之处。Confluent的数据流平台使业务数据流动起来，并使其可供机器学习使用。该平台持续传输、连接、治理和处理实时数据，捕获IBM Granite时序模型用于预测、异常检测、相似性搜索、分类、空缺填充和优化的实时业务信号。Confluent提供快速、可靠、安全实施流式处理场景所需的一切，让您专注于开发实时机器学习应用，而非管理数据基础设施。

Confluent Cloud是Confluent数据流平台的云部署版本，提供原生推理功能，允许您直接在Confluent上的Apache Flink®中运行IBM Granite时序模型，为实时数据处理提供更高的灵活性、安全性和成本效益，同时统一数据和机器学习工作流。优势包括：

• **在数据所在位置实现实时智能：**直接在流数据上运行预测和异常检测，就在业务状况变化的时刻，无需将时间序列数据提取到单独的机器学习平台或数据仓库。
• **零配置：**Confluent管理模型服务、基础设施、扩展和运行时操作，无需管理提供商凭证或在数据管道与模型之间添加粘合代码。可直接从Flink SQL调用IBM Granite时序模型进行实时异常检测和预测。
• **新鲜、丰富的上下文：**Confluent持续捕获和处理数据，形成从传感器遥测、支付活动到应用指标的最新业务状态视图，使模型能够基于当前情况而非过时的批量数据进行更可靠、准确的预测。推理结果写入Kafka主题并通过扇出共享，可供告警系统、仪表板、数据湖仓和AI代理使用。
• **内置治理和可追溯性：**推理管道遵循与平台上所有其他组件相同的模式、血缘和访问控制。Kafka主题持久且可重放，支持审计、故障排除、模型评估以及针对历史数据重新运行推理。
• **成本效益：**原生推理消除了配置和管理专用模型服务基础设施或GPU的需要，且零云端入口或出口费用。
• **增强安全性：**数据保留在Confluent Cloud内进行推理，并在平台全程遵循RBAC和隐私策略。
• **更快的价值实现：**团队可以使用熟悉的SQL语法，在数分钟内从流数据构建可用的预测和异常检测管道，而非构建单独的机器学习技术栈或点对点数据管道。

通过桥接运营和分析环境，Confluent帮助团队将实时业务事件转化为可操作的智能，将IBM Granite时序模型带入数据流。由于没有单一模型能同时适用于洗发水生产线、卡网络和零售目录，IBM和Confluent提供的是一个组合而非单一模型。

面向决策需求的互补性时序基础模型组合

每个决策都在向未来提出不同的问题。规划周期需要一系列可能的结果，交易台需要每个汇率下最准确的数字，包含十万条时间序列的资产组合需要保持合理的成本，安全团队则需要发现流行为何时偏离自身，以及上次类似情况何时发生。这个组合包含四个互补的时序基础模型，均处于早期访问阶段，通过Confluent现有的AI_FORECAST和AI_DETECT_ANOMALIES Flink SQL函数调用。只需一个SQL参数即可切换模型，无需重新设计管道。

整个项目只需一次调用：

SELECT
  AI_FORECAST(
    load_kw,
    event_time,
    JSON_OBJECT('model' VALUE 'ttm', 'horizon' VALUE 12)
  ) OVER (
    ORDER BY event_time
    RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW
  ) AS forecast
FROM meter_readings;

只需更改model值，同一调用即可运行四个模型中的任何一个，无需构建或运维单独的机器学习技术栈。

没有单一的最佳模型，因此几个问题可以引导选择：单个序列还是数千个？单一变量还是多个？需要训练时间，还是开箱即用？预测多远？预测，还是异常检测？PatchTST-FM像语言模型读取文本一样读取时间序列，逐个切片处理，每个变量在其独立通道中，这样一个噪声信号不会拖累其他变量，并返回完整分布，使规划师可以基于第90百分位数设定再订购点。FlowState通过每个数据点更新持续运行的摘要，由于其动态特性在时间上是连续的，既能读取秒级SCADA数据，也能处理小时级市场数据。TTM放弃注意力机制，采用沿时间和跨变量的小型混合网络，使百万参数模型每晚在CPU上覆盖十万条时间序列。而TSPulse在一个小型多任务模型中结合时间和频率视图，用于异常检测、分类、空缺填充，以及每个操作员都会问的问题：我们以前见过这种情况吗？

小型化是决策而非妥协：推理在Confluent Cloud内原生运行，或使用Hugging Face Hub上的开放权重在您自己的CPU上运行，无云端入口或出口费用，使架构简单且成本低廉。IBM Granite还带来IBM的企业级AI治理框架，包括模型出处和许可透明性，以及在模型上不断扩展的功能集，使每个用例开箱即用更具实用性。这正是组合与平台的结合点，模型不再仅仅是过去的记录员，而是成为仍在进行中的决策优化器。

价值落地之处：预测、异常检测、优化和语义智能

所有四种模型都压缩了从事件发生到认知知晓的时间间隔。在数据流中，这一间隔从数天缩短至数秒，信号成为其他AI系统、代理和工作流的触发器，用于调查、对重要事项进行分类，并在需要人工决策时引入人员（上下文已预先收集）。每种模型也正在被打包为功能，使更多工作在平台内完成，减少使用团队的负担。

预测与规划

大多数预测仍是统计模型与直觉相结合的决策。定制机器学习未能弥合差距，每个序列一个模型，手动重新拟合并随预测范围漂移，因此规划只覆盖值得投入的少数序列，其余则依靠安全库存。

以杂货零售商的需求规划师为例，规划能覆盖目录的头部但从未触及尾部（这些尾部作为营运资金存放在货架上）。她将一个共享模型应用于整个目录：它能立即处理未见过的序列，纳入天气和促销等驱动因素，并返回分布而非单一数值。没有为每个SKU单独构建模型，因此一个模型就是模型工厂：两年期SKU和三个月期SKU在同一任务中处理，无历史记录的新品从相似SKU起步，CPU上每晚处理十万个SKU，同样的模式跨类别和地区应用。

该分布将服务水平转化为她能明确陈述的策略。并且由于每个预测都落入主题，它更像是触发器而非报告：补货由其触发，分配和定价读取相同数字，降价在库存老化前执行，再订购在货架清空前完成。结果落在业务记分之处：减少缺货和降价，客户找到所需商品，货架上的收入得以保全，以及释放的营运资金（通常是商业案例中最大的项目）。

异常检测

异常检测是最宽泛的车道，一个遗漏的异常很少是小问题：在欺诈中它是客户的资金，在安全中是漏洞，在IT运营中是客户首先遇到的停机，每个都如资产负债表一样严重冲击品牌。在金融服务中，基于规则的检测是可枚举的，因此对手方也枚举它，而收紧规则会拒绝更多诚实客户，收入流失且客户半途而废。定制机器学习需要稀缺且过时的标签，而误报成本比实际犯罪更高。

设想零售银行的欺诈主管：模型为每张卡保持正常感知，并通过相同的AI_DETECT_ANOMALIES调用对每一笔支付进行评分（仍在交易过程中）。由于它也进行预测，能在事件发生前标记漂移迹象。一张卡在相同三个邮区购买了两年杂货，却在凌晨三点为国外钱包充值，警报在资金转移前触发，而同一客户在诚实度假时则顺利通过。

保护从第一天开始，因为模型在其他地方学到的内容可以转移到新产品、通道和资产类型，无需标记案例。它还必须持续演进，因为对手方也在变：欺诈模式和攻击签名每月都在变化，因此模型基于银行自身的流数据进行定制，随着案例确认而重新拟合，持续改进而非每年重建。随着银行和商业转向代理化，代理以机器速度发起支付，正常节奏改变且交易量攀升，因此实时上下文和过程中评分变得更加重要。每个分数都促成下一步行动：阻止支付，将附带最接近历史案例的分析升级给分析师，或交给代理。

同样的技术可复用于任何具有节奏的实体：IT延迟、基站KPI、开篇的调温生产线。

生产优化

每个工厂都基于自身模型运行，保持其准确性很困难：统计模型漂移，基于规则的控制固定设定点但从不改进，定制机器学习无法解释原因，因此优化停留在试点阶段，工厂在边际条件下运行。

安德烈斯在一家洗发水工厂负责工艺，其混合生产线将温度、搅拌器速度、加注速率和粘度数据流入Confluent。他在流数据上部署基础模型，开箱即用：数月定制建模工作缩短至数天，生产力提升高达10倍，他仅在生产线要求的地方进行定制。