从移动数据到商业洞察：面向大规模城市移动分析与决策支持的端到端分析框架

# 从移动数据到商业洞察：面向大规模城市移动分析与决策支持的端到端分析框架
来源：https://arxiv.org/html/2607.03394 1\]\\orgdivLIAAD,\\orgnameINESC\-TEC,\\orgaddress\\city波尔图,\\country葡萄牙 2\]\\orgdiv移动网络分析,\\orgnameNOS SGPS,\\orgaddress\\city里斯本,\\country葡萄牙 \\fnmShazia\\surTabassumshazia\.tabassum@inesctec\.pt (https://arxiv.org/html/2607.03394v1/mailto:[email protected])\\fnmMiguel\\surE\. P\. Silva\\fnmRicardo\\surDinis\\fnmJoão\\surGama

###### 摘要
基于移动应用的实时位置数据是解决多种城市挑战的强大工具，包括旅游规划、停车管理、公交线路优化和资源分配。此外，它为商业领域如基于位置的服务、市场份额分析和行为画像的战略决策提供了宝贵的洞察。在这项广泛的研究中，我们旨在通过调查城市环境中智能手机用户的行为和模式，特别是在旅游、交通和零售领域，来解决上述所有挑战。我们的方法包括从构想到实施开发一个复杂的数据平台，包括用例制定、架构设计和模块实现。我们采用最先进的技术和工具，包括数据匿名化、ETL管道，并利用Google BigQuery和Vertex AI进行数据处理和机器学习模型开发。我们开发了一个基于可复用分析构建块的模块化架构，以生成支持多个利益相关者驱动用例的数据产品。此外，我们通过Power BI应用交互式数据可视化技术，帮助利益相关者有效解读分析结果。开发的模型涵盖了多种移动分析任务，包括移动画像、频繁轨迹挖掘、影响区域分析、交通异常检测和起讫点模式分析。结果表明，该框架能够在精细的空间和时间分辨率下捕捉用户移动动态，为城市规划和战略商业决策提供可操作的见解。总体而言，所提出的工作为将原始移动数据转化为运营情报提供了一个可扩展且可复用的解决方案，支持城市规划、旅游管理、交通系统和商业分析等领域的明智决策。

###### 关键词: 城市移动, 移动通信, 轨迹挖掘

## 1 引言
移动通信是数字社会的重要支柱，尤其是智能手机，已成为大多数人口的必备配件，既是主要通信手段，也是访问数字内容的入口。社会对智能手机的依赖使得这些设备成为自我的延伸，从而可以通过与手机及其通信相关的数据对用户进行画像。移动电话运营商因此处于有利位置，通过通信网络中嵌入的技术来利用这些信息，满足用户所需的服务。他们对移动通信数据（特别是设备位置）的访问，使移动电话运营商能够捕获、存储并无处不在分析海量数据，以生成关于用户模式和画像的洞察。这些洞察有无数应用，从社会公益（在自然灾害情况下，可以帮助民防当局规划疏散路线，或了解游客移动模式以改善旅游路线并识别兴趣点）到作为数据货币化服务出售（面向商业、银行或保险公司，以了解客户移动模式）。社会对移动电话通信的普遍依赖意味着每天产生的移动通信数据量巨大，对数据的存储、处理和分析方式施加了限制，因为传统方法无法处理如此大规模的数据集。移动通信数据的另一个重要方面是其流式特性。新数据不断生成，分析模型通常必须实时回答这个数据流中的问题。在过去十年中，已有大量研究工作来处理全球范围内不断增长的数据量的各个方面。然而，仍然需要新的方法论来从海量数据流中提取知识，现有的解决方案在工业规模的适应方面常常面临挑战。正是在这种背景下，葡萄牙提出了*City Analyser*项目，这是一个由研究机构INESC\-TEC、葡萄牙电信和媒体公司NOS、商业公司SONAE MC以及葡萄牙布拉加公共交通公司TUB组成的联盟。City Analyser的主要目标是开发一个数据平台，以确定智能手机用户的行为和习惯，创建客户画像，从而丰富城市环境中人口层面移动模式的分析。该数据平台是分析四个主要问题的支撑环境：特定位置的影响区域（访问该位置的客户来自哪里）、移动画像（识别城市社交热点和出行时的交通方式）、最频繁轨迹（识别两地之间出行所走的路径）以及异常检测（当用户行为偏离观察到的正常模式时生成警报）。本文贡献描述了为回答这四个问题而开发的方法。为了实现既定目标并解决特定用例，我们采用了一种称为“构建块”的模块化架构。每个构建块代表一个模型，旨在处理不同的任务，例如用户居住状态识别或交通方式分类。这些构建块能够动态学习、预测并填充临时表。然后，用例脚本查询或直接调用它们，以生成输出表，称为数据产品。这些数据产品作为生成有洞察力的结果和图形表示的基础。尽管现有的移动模式挖掘研究通常侧重于解决特定的或有限的相关问题，通常缩小到具体问题。列举各种应用和方法论的研究工作主要是综述论文，往往缺乏实际实施（atluri2018spatio）。相比之下，我们的工作是应用研究，对三个领域的多样化问题进行了全面探索。我们的贡献是多方面的，如下所示：
- •开发了一个复杂的数据平台，采用从用例制定到模块实现的整体数据分析方法，促进了有效的数据处理和建模。
- •利用BigQuery进行高效快速的数据处理，检索模型输出并执行用例。
- •模型具有适应性，可根据不同镶嵌（包括S2单元格111http://s2geometry.io/（谷歌开发的用于索引地理的网格系统）、区域（NUTS）和市镇）生成定制输出。
- •应用了针对特定任务的各种机器学习技术，例如用于用户画像的基于规则的模型，使用随机森林分类器和多层感知器进行交通方式分类的迁移学习，用于交通流量时间异常检测的归一化Z分数，OD矩阵，用于简化轨迹的Ramer\-Douglas\-Peucker算法，以及使用离散弗雷歇距离的DBSCAN用于聚类频繁轨迹。
- •利用上述模型解决了多个挑战，包括停留点分析、交通流量分析、集水区分析、时间市场份额分析和夜间停留区域分析。
- •创建了仪表板，以可视化和分析数据产品产生的输出。

本文其余部分组织如下：第3节回顾了与本文所解决问题相关的研究工作，鉴于本研究的多方面性，分为几个相关主题。第4节概述了数据平台的架构，详细介绍了数据流、管道和使用的工具，第4.2节对数据集进行了全面描述。第5节概述了预处理步骤，并给出了理解后续部分所必需的基本定义。本研究中开发和分析的所有模型都在第6节中介绍，并详细解释了其结构和功能。第7节讨论了各种案例研究，并展示了构建块在真实场景中的应用。最后，第8节总结了本研究的发现和结论，强调了主要贡献和未来工作的潜在领域。

## 2 相关工作
利用移动数据已被证明在解决众多现实世界挑战中具有无价价值。它有助于解决诸如预测传染病暴发（kraemer2020effect）、调查犯罪（gerber2014predicting）、保护野生动物和环境（cagnacci2010animal）、模拟自然灾害中的人类移动（han2019cities）以及测量空气污染的严重程度（shaji2022study）等问题。除此之外，大量文献侧重于利用移动模式来塑造智慧城市和城市发展的演进（steenbruggen2015data）。基于数据驱动的策略已被探索用于规划、管理和优化交通系统（zhu2018big;mahrez2021smart），促进可持续城市发展。人类移动与城市动态之间微妙的相互作用已被广泛利用，将城市转变为智能、响应式的生态系统。这一重点与我们研究的主要目标一致。因此，我们在下面深入探讨这些领域的相关文献，重点介绍用于解决在这里进一步研究的不同任务的特定模型和方法。分类基于轨迹分析和预测分析中使用的模型性质。

### 2.1 轨迹分析
聚类移动与画像：默认方法可以简单地基于距离的算法（ben2019clustering）、基于聚类的模型（atluri2018spatio），这些模型侧重于扩展传统聚类算法，如K\-means、BIRCH、DBSCAN、OPTICS和STING，或集体运动停滞。这些模型通常对时空尺度的变化敏感，并且会遗漏长度变化和不规则的轨迹（liao2005clustering）。(yue2019detect)提出了DETECT，通过使用大量未标记轨迹训练的自动编码器来处理变长输入。另一类算法处理不确定轨迹数据，其中对象连续移动，而位置仅在离散时间记录（yuan2017review），这在RAN地理定位数据中发生。

异常检测：大多数异常检测工作侧重于聚类和点密度。最近，基于张量的方法已被引入作为异常检测技术。我们最近研究了使用称为HTM的混合张量模型（fanaee2016event）将事件检测张量分解应用于动态O/D数据。sun2017dxnat使用卷积神经网络（CNN）检测由实时中断或事件（如体育、天气和事故）引起的非重复性异常。类似的策略可用于避免移动网络中的QoE（体验质量）下降。

建模集水区：一些技术应用引力模型来分析消费者行为，并通过考虑竞争区域的空间分布并评估其对不同人群的吸引力（dolega2016estimating），基于一些位置因素（如城市人口、产品价格和供应）来近似商店或购物中心的集水区。其他模型包括熵最大化（daniotti2023maximum）、竞争目的地模型（cronje2020review）、用于估计市场份额的多用途购物模型（drezner2023multipurpose）、到店出行模型（pratt2014delineating）、区域设计问题（kohani2012exact）。

基于移动模式刻画用户：与我们案例研究相关的另一个应用是根据移动模式将用户分为国内（区域内和区域间）、外国人和游客。xu2021towards引入了九个移动指标，例如在城市停留的持续时间、活动的空间范围、访问的地点和进行的出行，以及移动多样性，以捕捉游客旅行行为的不同方面。此外，他们应用了特征分解方法和主成分分析来理解上述指标对个体旅行者的变化和依赖性。

### 2.2 预测分析
移动预测：该任务包括下一位置预测、下一次出行或轨迹预测等问题（andrade2024we;ma2022individual）。该领域的大多数工作都侧重于使用不同的方法（如马尔可夫模型（andrade2024we;lv2016big）、非线性时间序列分析（aljeri2020performance）和动态贝叶斯网络（hou2016predicting））来预测单个用户的移动。然而，上述技术通常无法准确建模多维数据并同时预测多个用户的移动模式。为了应对这种复杂性，张量模型和矩阵分解等高级方法已应用于多元时空分析和协作移动预测。例如，bahadori2014fast引入的基于张量的预测框架可以结合时空数据中的各种属性。然而，张量方法存在冷启动问题。此外，一个关键的研究领域是实时移动预测。在ouyang2016deepspace的工作中，实现了一种在线CNN模型用于轨迹预测。在另一项值得注意的研究中，fattore2020automec的作者提出了一种分布式移动预测结构，使用长短期记忆模型（LSTM）。

预测交通突发和热点：道路级交通预测是一个类似上述的问题，可以建模为交通流量数据的时间序列。最近，RNN和LSTM被广泛用于时间序列时空数据预测（wang2020deep）。它与实时事件检测的问题密切相关。它可以用于决策支持，例如优化超市的户外停车空间和资源，或开设新店。sole2016model将交通流建模为复杂网络，并使用介数度量来分析预测拥堵热点。

交通方式分类：检测出行交通方式并不是一个新问题，已有相当多的研究对此进行了调查，并且仍然受益于学习算法和数据质量的进步。huang2019transport基于移动电话网络数据对交通方式检测进行了系统综述。大多数传统方法基于规则，其中使用速度、持续时间和距离等特征进行分类。