协作虚拟现实中团队过程阶段动态的计算测量

# 协作虚拟现实中团队过程阶段动力学的计算测量
来源：https://arxiv.org/html/2608.18660
张嘉宁与普贾·波尔

致谢：黄庆、张嘉宁与普贾·波尔隶属于德国奥格斯堡技术应用科学大学商学院（邮编86161奥格斯堡），同时隶属于莱希河畔兰茨贝格数据中心与自主系统技术转移中心（TTZ）（邮编86899莱希河畔兰茨贝格）。联系邮箱：[email protected]; [email protected]; [email protected]）。通讯作者：黄庆。

###### 摘要
协作虚拟现实（VR）环境使团队沟通的展开过程变得可观察，但传统的转录分析往往总结整个试验或将其划分为固定的时间窗口。这种方法可能掩盖团队沟通与协调随时间的变化。本文提出了一种计算框架，用于从协作VR游戏中的带时间戳对话中检测并解释动态团队过程阶段。该框架使用延迟分块生成上下文感知的转录表示，将其聚合为时间块，并应用带惩罚的高斯核变点检测来识别团队沟通中的语义转变。在边界检测之后，词频-逆文档频率（TF-IDF）、非负矩阵分解（NMF）和代表性转录片段为阶段解释提供了结构化证据。本地部署的大型语言模型（LLM）利用上下文学习生成初步解释，随后由人类进行审查。随后，将独立记录的交互日志与检测到的阶段对齐，以检查相应的任务-行动模式。评估比较了表示方法、池化策略、分割方法、参数设置、经审查的阶段解释以及阶段对齐的交互特征。结果显示，该框架能够识别连贯且可解释的阶段结构，同时保留了其与底层转录证据的可追溯性。转录派生阶段与交互行为之间的对应关系进一步支持了它们在分析协作活动中的相关性。因此，该框架为研究跨协作任务设置中带时间戳转录所反映的团队工作时间变化提供了一种透明且可迁移的方法。

###### 索引术语：虚拟现实协作，团队沟通，团队过程，变点检测，延迟分块，大型语言模型，上下文学习

## I 引言
协作虚拟现实（VR）训练与团队工作平台提供共享的任务环境，可对沟通、协调和交互过程进行实时观察与研究[24]、[26]、[15]。由于语音、任务操作和系统事件均可记录为时间对齐的轨迹，VR也为计算团队工作研究提供了有用的场景[6]、[16]。团队成员在协作期间必须建立共享理解、协调行动、监控任务情境并解决沟通问题[18]、[2]、[14]。因此，关键的分析挑战在于识别这些沟通与协调过程如何随时间变化，而不仅仅是总结交互的总量[24]、[13]。

团队过程研究将团队工作描述为一系列变化的活动，包括任务解释、共享参考形成、行动协调和问题响应[18]、[2]。近期的时间视角同样强调，团队过程和涌现状态应被视为演化的轨迹而非静态的聚合[13]、[5]、[17]、[4]。然而，原始转录稿并未直接揭示一个协作阶段在何处结束、另一个在何处开始。试验级摘要移除了时间结构，而固定时间窗口可能分割连贯的事件或将具有不同沟通功能的时间段合并。这促使了从沟通轨迹的变化中检测可变长度语义阶段的方法[9]。

另一个挑战是，VR中的简短话语往往依赖于周围的对话。诸如“那里”、“绿色的那个”或“等等”之类的表达，若没有先前的对话和任务背景，无法可靠地解释。因此，独立表示每个片段可能会丢失区分其局部功能所需的信息，这催生了诸如延迟分块等保留上下文的方法[8]、[19]。

阶段解释还必须保持与底层证据的可追溯性。与要求LLM总结整个试验不同，可以使用结构化的阶段特定证据来生成候选解释，随后由人类审查[3]、[25]、[12]、[23]。

本文提出了一个计算框架，用于从带时间戳的团队转录稿中检测和解释语义阶段。如图1所示，该框架结合了延迟分块的上下文嵌入、时间块池化、基于核的变点（CP）检测、结构化证据提取、利用上下文学习的LLM辅助解释、人类审查以及阶段对齐的交互分析[8]、[11]、[6]。语义边界在解释前确定，使得标注过程无法影响其位置。评估部分审查了上下文表示、池化策略、分割方法和参数敏感性，然后通过经审查的阶段过程标签、非负矩阵分解（NMF）主题证据和对齐的任务-行动指标来评估所得阶段。该框架为研究团队沟通与协作如何在协作活动期间发展提供了可追溯的方法。

## II 相关工作与研究动机
团队工作研究强调，团队行为应被分析为一个演进过程，而非静态的聚合分数[18]、[2]。这种观点在数字、多模态和虚拟环境中日益重要，因为涌现状态、协调模式和韧性可能在多个时间尺度上发生变化[13]、[5]、[17]、[4]、[7]、[20]、[14]、[16]、[6]。对于人机系统，训练反馈和事后复盘需要关于这些过程何时以及如何变化的可解释信息。现有的计算分析通常在转录片段层面或试验层面进行。片段级标签可能过于局部，无法描述持续的团队过程事件，而试验级摘要则压缩了有意义的转变。所需的中间单元是一个语义连贯的阶段，它比单个转录片段长，比完整的任务事件短，并且其持续时间可根据团队的沟通动态而变化。

协作VR对话不同于结构良好的文档，因为它包含短轮次、指示性表达、玩家视角的同步、任务特定的对象引用和局部修复序列。延迟分块是相关的，因为它先编码较长的上下文，然后派生局部片段表示，使得短片段可以继承话语信息[8]、[19]。对于边界估计，核变点检测是合适的，因为它评估的是语义轨迹分布的变化，而不仅仅依赖于相邻的局部相似性[10]、[9]、[11]。

解释与边界检测保持分离。边界集并不指定阶段服务的沟通功能。近期关于上下文学习和LLM辅助沟通分析的工作表明了一种有用的分工：计算方法提取结构化证据，LLM将这些证据转换为可审查的候选标签，而人类审查者评估标签是否得到证据支持[3]、[1]、[25]、[12]、[23]、[22]。本研究遵循这种证据优先的逻辑，并将LLM的使用视为在人类审查工作流内的LLM辅助证据标注。

## III 研究问题与主张边界
评估遵循四个与测量流程对齐的问题。
RQ1检验延迟分块是否相对于标准片段嵌入改善了语义分离。
RQ2检验核变点分割是否比固定宽度和随机边界参考分区产生更高的语义分离。
RQ3检验对嵌入模型、块池化、核带宽和变点惩罚的敏感性。
R4检验经审查的阶段过程标签是否可以分配给检测到的阶段，这些标签是否得到解释的NMF主题证据支持，以及阶段是否可以与VR交互日志对齐，以进行跨会话的沟通模式和任务-行动特征比较。

主张边界。本文评估转录语义结构、经审查的可解释性以及与任务-行动和绩效指标的对齐。检测到的阶段是用于审查协作VR中团队沟通与协调的分析单元，而非潜在心理状态的直接测量。通过培训师评分、参与者自我报告和独立行为编码进行的外部验证仍是未来的工作。

## IV 数据与预处理
### IV-A VR游戏背景与转录数据
该研究在一个协作VR训练游戏中进行，该游戏围绕沟通与协调而非个人技巧设计。参与者以视觉相似的化身进入共享虚拟环境，并需要在时间压力下将任务相关资源移动到目标位置。该任务要求团队成员在持续活动期间识别玩家特定属性、建立相互可见性、定位资源、协调对象操作并修复误解。每支团队完成两次VR游戏试验。试验之间，小组离开VR进行引导式反思和策略讨论，然后返回进行第二次尝试。这种配对设计使得比较任务初次接触和明确团队反思后的后续尝试成为可能。所有参与者在参与前均提供了书面知情同意，包括同意录音、转录稿以及VR交互数据的记录与分析。

数据由这些试验中带时间戳的德语语音转录稿和带时间戳的VR交互日志组成。本文中的颜色术语仅指VR游戏属性，如物体颜色或颜色编码的玩家角色，不应被解释为人口统计学、个人或社会描述符。数据集包含15个团队，每个团队完成两次试验，产生30份团队会话转录稿。玩家级别的音频使用基于Whisper的自动语音识别（ASR）流程进行转录[21]。*转录片段*是分析中使用的最小文本单位，由来自玩家级别音频录音的一个带时间戳的ASR输出片段组成。由于每个参与者都有单独的录制通道，玩家标识符继承自源通道，而非通过说话人日志推断。第i个片段是σi = (si, ei, ci, xi)，（1）其中si和ei表示开始和结束时间戳，ci表示玩家标识符，xi表示转录文本。团队试验表示为有序序列 S = {σ1, σ2, ..., σN}，（2）其中N是可用的带时间戳ASR片段的数量。空、非语音和不可用的ASR片段已被移除，静默间隔未转换为伪片段。转录文本和时间戳对齐经过人工检查。由于本研究的重点是从带时间戳的转录稿进行语义阶段检测，而非语音转文本性能，因此ASR质量未作为单独的研究目标进行评估，此处也不检查转录错误对下游结果的影响。

图1：语义阶段检测、证据提取和阶段解释的工作流程。

### IV-B 上下文片段嵌入与时间块
该框架使用三种分析单元。*转录片段*是上述定义的带时间戳的自动语音识别（ASR）单元。*上下文片段嵌入*表示该片段及其周围话语的语义内容。*时间块*聚合附近的上下文片段嵌入以进行变点检测。转录片段保留原始文本证据，而时间块为边界估计提供更稳定的表示。

对于延迟分块，相邻的转录片段按时间顺序连接成*转录块*，直到达到编码器上下文限制。令T(b) = (τ1, τ2, ..., τL)（3）表示转录块b的token序列，其中τl是第l个token，L是块中的token数量。长上下文编码器fθ将该序列映射到上下文token表示。
(ϑ1, ϑ2, ..., ϑL) = fθ(T(b)). （4）
这里，ϑl表示token τl的上下文表示，θ表示嵌入模型的参数。转录片段σi的嵌入是通过对上下文token表示进行池化获得的。