基于文献信息环境背景的EEG情感状态神经地理空间建模

# 基于文献环境上下文的神经-地理空间脑电情感状态建模  
来源：https://arxiv.org/html/2608.20807  
Jagannath Aryal, Subramaniyaswamy Vairavasundaram  
\[6pt\]维洛尔技术大学计算机科学工程学院  
维洛尔，泰米尔纳德邦 632014，印度  
\[2pt\]地球观测人工智能研究组  
基础设施工程系  
墨尔本大学，墨尔本，维多利亚州 3010，澳大利亚  

###### 摘要  
空气污染和绿化度等环境暴露与情感及认知结果相关，但脑电与环境数据很少联合地理配准，限制了直接评估。本研究探讨在个体环境暴露不可用时，文献驱动的环境先验是否可作为辅助地理空间模态，用于基于脑电的情感状态分类。我们结合EAV基准数据集的30通道脑电信号（42名参与者，年龄20–30岁）与来自OpenAQ、Sentinel-2、Sentinel-5P和OpenStreetMap的阿斯塔纳环境表征数据。双塔架构将脑电-转换器表征与基于图的环境编码器相结合。由于数据集未联合配准，环境上下文是文献驱动的先验而非实测暴露。通过受试者级重复划分、置换/标签打乱控制、剂量反应反转和领域偏移实验，区分架构增益与先验依赖增益。多模态模型达到76.27%的准确率，优于单独脑电的67.4%；破坏环境-标签结构的控制组保留了部分增益，表明并非完全归因于环境信息。将阿斯塔纳环境分布替换为独立建模的新加坡分布后，准确率降至72.8%。结果支持该方法的技术可行性，但未确立观测或因果暴露-情感关联。本研究为未来联合采集的移动脑电-环境研究提供了方法论框架。  
实现代码见：https://github.com/r11up/geo-cog  

关键词：地理空间人工智能、健康地理学、多模态深度学习、情感计算  

## 1 背景  
城市环境条件（空气污染、交通密度、植被接触受限）在流行病学与环境健康研究中被反复证明与心理及认知结果的变化相关\[1\]。细颗粒物（PM2.5）暴露与执行功能下降相关（β=−0.0146, p<.001）\[2\]，长期暴露则加速认知衰退\[31, 47\]；城市噪声与心理压力及睡眠障碍相关\[56\]；绿地接触与更低的压力及更好的情绪相关\[3, 11\]。这些证据为假设环境上下文与情感和神经生理状态相关提供了合理基础，但未揭示该上下文如何实时发挥作用——其构建几乎完全基于群体级暴露指标和长期聚合结果，而非时间分辨的神经记录。  

脑电图（EEG）自然补充了上述文献，它以毫秒级分辨率记录皮层活动，对唤醒度、效价和认知负荷的波动敏感——这些是自我报告和扫描仪神经成像在实验室外无法捕捉的特性。这种时间敏感性最终将用于将神经反应与快速变化、空间异质的城市刺激耦合。地理空间认知研究提出大脑持续编码和更新周围环境的空间表征以指导行为\[4, 5, 6\]；相关文献已开始探讨空气污染、密度和视觉复杂度等元素如何作为空间分布因素影响大脑介导的行为与心理健康结果\[7, 8, 13, 14\]。  

然而，基于脑电的情感状态研究几乎完全局限于与真实环境上下文脱节的受控实验室设置\[9, 18\]，鲜有研究尝试直接结合二者\[10\]。这是具体的方法论问题，而非简单的证据缺失。环境数据集（如本研究使用的）具有空间精细度且在几乎任何城市免费可用；脑电情感状态基准数据集具有时间精细度，但在实验室采集，缺乏参与者室外位置或暴露的同时记录。本研究使用的EAV数据集\[24\]也不例外：参与者在哈萨克斯坦阿斯塔纳的纳扎尔巴耶夫大学佩戴脑电设备，其记录中不存在任何参与者轨迹、室外传感器读数或时间戳暴露测量。因此，本研究中分配给任何脑电时期的环境向量并非该参与者在记录时的实测暴露，而是从城市环境分布中采样的值，且仅在训练期间根据流行病学文献报告的剂量-反应关系，依据时期的情感标签进行条件化（方法部分）。由此，本研究无法实证估计暴露与情感的关系，而是提出更窄的问题：多模态深度学习架构能否在训练中刻意构建文献一致、空间结构化的环境先验时学会利用该先验？所得效益能否经受标签无关评估和城市变更？  

这直接引出三个边界，需在方法细节前阐明：第一，本研究中附加于任何脑电时期的环境向量是计算构造，而非实测暴露；第二，该框架相应地是计算数字孪生——将环境上下文层叠到实验室脑电基准的受控模拟，而非记录对真实室外刺激的神经生理反应；第三，所有报告关联（包括新加坡评估）是关于模型和架构行为的证据，而非大脑与环境之间的因果或直接观测耦合——后者需要时空共配准的现场数据，我们将在讨论中作为未来工作回归此问题。  

环境上下文传统通过地理插值、缓冲区分析或土地利用回归（LUR）\[1, 48\]表示。LUR将地面污染物测量与道路密度和建筑形态等空间预测因子相关联，介于纯地理统计插值（无法捕捉密集城区典型的、形态驱动的急剧污染梯度）与扩散或化学传输模型（需要排放和气象输入，这些在仪器密集城市外很少可用）之间\[49\]。通过Sentinel-2植被指数测量的绿地接触与抑郁和焦虑减轻反复相关\[12, 13\]；OpenStreetMap导出的形态指标（容积率FAR）和卫星导出的植被可见度代理指标捕捉密度与自然视觉暴露\[3\]。机制上，绿地暴露被认为通过注意恢复理论和压力减轻理论描述的途径降低皮质醇和注意力疲劳\[11, 33\]；而高密度建成形式和交通污染与应激生物标志物升高相关\[30\]；功能性MRI研究将城市绿色基础设施与涉及情绪调节的前额叶和杏仁核活动相关联\[34\]。  

在神经层面，频谱特征（特别是差分熵DE和功率谱密度PSD）在δ、θ、α、β和γ波段携带效价、唤醒度和认知负荷的判别信息\[16, 17\]；结合卷积和转换器组件的混合解码器（如EEG-Conformer\[42\])现已优于早期的纯卷积架构\[55\]。脑电与其他生物信号的多模态融合通常使用单向跨模态注意力，将一种模态视为查询、另一种视为上下文\[45, 46\]；双向注意力（每个模态同时作为查询和上下文）已用于结合语音和视觉的任务，但此前未用于脑电和地理数据。由于脑电协方差矩阵是对称正定的且位于弯曲流形上，黎曼几何对齐在脑机接口工作中优于欧几里得域适应\[37\]，这部分激发了我们的对齐设计（方法部分）。时空图神经网络将地理学第一定律（近处事物比远处事物更相关）编码为结构归纳偏置\[41, 43\]，将早期本体驱动的地理信息科学方法扩展到多模态空间预测\[21, 22\]。  

本研究通过双向神经-地理空间架构解决上述配准问题：EEG-Conformer配对100单元环境网格上的图神经网络，由双向跨模态注意力耦合，并采用连接两个数据域的计算两阶段协议。本工作的贡献如下：  
1. 通过文献驱动的先验（PECM）和直接优化的跨模态对齐目标，整合未配准脑电与地理空间环境数据的框架。  
2. 区分脑电信号、环境辅助信息与架构多模态效益的受控协议。  
3. 明确评估环境先验在环境领域偏移下的行为：仅重新拟合环境塔到独立建模的新加坡分布，同时固定脑电编码器及其阿斯塔纳训练。  
4. 可复现、开放可用的流水线，为未来结合移动脑电与地理配准暴露测量的研究提供路径。  

我们将此双城市设计（而非单个深度案例研究）视为论文贡献的核心。本研究使用的每个环境输入（OpenAQ的地面站点数据、OpenStreetMap的建筑和道路矢量、Sentinel任务的大气图像）在几乎所有城市免费可用，包括许多空气监测稀疏的城市。新加坡评估测试同一架构在仅重新拟合环境塔时，当底层暴露分布被独立建模的城市替换后是否仍有效——这正是其他研究者重用此模板实际需要的特性。  

### 1.1 研究问题与假设  
1. 纳入文献驱动的环境上下文是否比仅脑电基线改善基于脑电的情感状态分类？该改善中多少反映环境内容本身，而非增加的架构？  
2. 当环境领域偏移到结构不同、独立建模的城市时，环境上下文是否仍对分类有用？  
3. 结果对空间尺度及环境上下文的构建、方向和分辨率有多敏感？  

相应地：使用文献驱动上下文的融合模型应优于仅脑电基线，其中部分改善在标签去相关控制下持续存在（架构级贡献），部分特异归因于文献驱动内容（H1）；环境领域替换应减少但不消除多模态优势（H2）；性能应取决于环境上下文的空间分辨率及注入关联的文献一致方向，而非仅仅某种划分的存在（H3）。  
RQ1通过基线-所提模型和消融比较（第3.1和3.6节）解决，RQ2通过新加坡环境领域偏移评估（第3.3节）解决，RQ3通过空间尺度和剂量-反应方向敏感性分析（第3.5和3.6节）解决。这些是关于计算性能和鲁棒性的假设，而非环境暴露对任何个体神经状态的因果影响。  

## 2 数据与研究设计  
### 2.1 研究设计概述  
本研究结合一个结果（附加于每个脑电时期的瞬时情感状态标签）与两个预测族：脑电信号本身，以及描述两个城市研究区域形态、生态和大气条件的多源地理空间数据。由于神经与环境领域未在实时共配准，采用两阶段协议进行计算连接。概率环境上下文建模（PECM）首先基于流行病学剂量-反应证据建立标签条件对应；然后通过直接优化的跨模态对齐目标学习共享表征，该设计受黎曼几何公式激发并经其验证。PECM应始终理解为文献驱动的先验生成机制，而非任何参与者实际暴露的重建。对于主要的阿斯塔纳分析，环境数据来自脑电参与者所在城市，这将PECM的条件化锚定在真实的群体级地理共定位（虽非个体级空间共配准，详见讨论）。  

完整数据整合流水线总结如图1。