基于过程轨迹的未来行为策略早期预测

# 从过程轨迹早期预测未来行为策略
来源：https://arxiv.org/html/2605.30550
Robert Kasumba 计算与数据科学系，圣路易斯华盛顿大学，密苏里州圣路易斯 63130 rkasumba@wustl\.edu &Dennis Barbour 生物医学工程系，圣路易斯华盛顿大学，密苏里州圣路易斯 63130 dbarbour@wustl\.edu &Chien\-Ju Ho 计算机科学系，圣路易斯华盛顿大学，密苏里州圣路易斯 63130 chienju\.ho@wustl\.edu

###### 摘要

自适应系统通常需要根据有限的证据对个体做出特定于任务的决策：例如，辅导系统可能需要预测学习者将如何解决一个新问题，游戏可能需要适应玩家进入新关卡时的行为，而人-AI 系统可能需要推断合作者是会坚持原计划还是切换目标。这些决策依赖于塑造个体如何解决相关任务的人级倾向，但这类倾向很难从标准的行为证据中推断出来。一种方法是使用聚合结果摘要，如分数、完成率或生产力；这些摘要简洁且跨任务可用，但可能将不同的行为过程坍缩为相似的结果。另一种方法是使用过程级轨迹，记录行为如何展开；然而，单个任务内的过程建模可能会将稳定的人级倾向与特定任务的布局和可供性纠缠在一起。在这项工作中，我们研究早期的跨任务行为推断：部分源任务过程轨迹是否能揭示可迁移的人级结构，从而预测在留出目标任务中的策略。我们提出了一种过程级潜变量模型 (PLVM)，它编码特定任务的轨迹并将其融合到共享的人级潜变量表示中，用于跨任务预测。在《冲就完事模拟器》（PowerWash Simulator）这一人类游戏行为的自然遥测数据集中，PLVM 使用来自两个清洁任务的部分轨迹来预测在留出的“消防站”关卡中，玩家是表现为局部持久的“区域规划者”（Zone Planner）行为，还是频繁切换的“区域跳跃者”（Zone Hopper）行为。具有已知潜类型的受控模拟实验表明，当源任务揭示共享潜过程的不同维度时，跨任务融合有所帮助。这些结果表明，当观察足够的目标任务行为不切实际时，过程级跨任务建模可以支持目标任务策略的早期预测。

## 1 引言

自适应系统通常需要根据有限的先前证据对个体做出特定于任务的决策。辅导系统可能需要预测学习者将如何解决一个新问题 [vanlehn2011relative](https://arxiv.org/html/2605.30550#bib.bib20)，游戏可能需要适应玩家进入新关卡时的行为 [paraschos2023game](https://arxiv.org/html/2605.30550#bib.bib18)，而人-AI 合作者可能需要推断在新的合作情节中协作伙伴是会坚持原计划还是切换目标 [hoffman2024inferring](https://arxiv.org/html/2605.30550#bib.bib7);[kasumbagoal](https://arxiv.org/html/2605.30550#bib.bib11)。此类决策依赖于塑造个体如何解决相关任务的人级行为倾向。因此，有用的预测不仅仅是该个体过去取得了什么结果，而是他可能在目标任务中如何组织其行为。

这个预测问题的一个自然起点是使用先前行为的结果摘要。行为科学和应用评估常常依赖准确率、反应时、分数、完成时间或总进度等指标来估计个体差异 [miyake2000unity](https://arxiv.org/html/2605.30550#bib.bib17);[friedman\_unity\_2017](https://arxiv.org/html/2605.30550#bib.bib6);[kasumba2023distributional](https://arxiv.org/html/2605.30550#bib.bib10);[kasumba2025bayesian](https://arxiv.org/html/2605.30550#bib.bib9)。这些摘要简洁且通常跨任务可用，但它们可能无法充分确定产生这些结果的行为过程：相似的结果可能源于系统性的空间组织、局部探索、频繁的目标切换，或朝向未来子任务的远距离移动。即使将结果摘要跨任务组合起来，它们也抽象掉了行为在每个任务内部如何展开的细节 [miyake2000unity](https://arxiv.org/html/2605.30550#bib.bib17);[friedman\_unity\_2017](https://arxiv.org/html/2605.30550#bib.bib6);[marticorena2024minecraft](https://arxiv.org/html/2605.30550#bib.bib15)。这种抽象对于自适应系统而言是有限制的，因为即使观察到的结果相似，不同的行为过程也可能需要不同的干预措施。

这促使我们使用过程轨迹：即保留结果摘要所丢弃信息的时间排序行为记录 [jain2023computational](https://arxiv.org/html/2605.30550#bib.bib8);[anghel2024use](https://arxiv.org/html/2605.30550#bib.bib1)。在我们的设置中，这些轨迹捕捉了行为在一个任务中如何展开，包括个体的移动位置、切换目标的时机、如何处理子任务以及进展如何累积。现代序列模型，如 Transformer [vaswani2017attention](https://arxiv.org/html/2605.30550#bib.bib21)，可以学习此类轨迹中丰富的时间依赖性，并模拟行为在一个任务内如何延续。然而，仅凭更丰富的过程数据并不能解决跨任务推断问题。一个强大的序列模型可能会学习特定环境的布局、时序和局部可供性，从而将任务特定的规律性与稳定的人级倾向纠缠在一起。相反，相关的人级倾向可能在任何单个源任务中仅得到部分表达：学习者的坚持度、玩家的搜索风格或队友的切换倾向在不同环境中可能表现不同。因此，关键挑战不仅仅是对一个任务内的过程轨迹进行建模，而是要跨任务组合过程证据，以推断能够迁移到留出目标任务的行为结构。

在这项工作中，我们研究早期的跨任务行为推断：根据先前源任务中的部分过程轨迹，预测一个人在留出目标任务中如何组织其行为。我们探究来自多个源任务的过程轨迹是否可以被融合，以恢复可迁移的人级行为结构，这种结构超越了聚合结果摘要或单任务过程模型所能捕捉的范围。我们在《冲就完事模拟器》游戏数据集 [vuorre2023intensive](https://arxiv.org/html/2605.30550#bib.bib22) 中实例化这个问题，该数据集包含人类玩家完成长时域空间清洁任务的自然遥测数据。我们使用来自两个源关卡的部分轨迹来预测玩家在后续留出目标关卡中的导航风格：玩家是倾向于在空间区域内局部持久停留，还是反复跨区域切换。这种区分是可行的，因为具有相似完成结果的玩家可能需要不同形式的帮助、反馈或协调，具体取决于他们如何组织其行为。

我们提出了一种过程级潜变量模型 (PLVM)。PLVM 使用特定任务的编码器来总结每个源任务的过程轨迹，然后将这些总结融合到一个共享的人级潜变量表示中，用于预测留出目标任务中的行为。目标不是在一个任务内延续序列，而是推断可能在不同任务中以不同方式表达的可迁移行为组织。由于真实游戏过程无法揭示行为背后的真实潜过程，我们使用受控模拟作为机制验证：模拟智能体具有已知的潜行为类型，而不同的源任务揭示了这些类型的不同互补方面。在《冲就完事模拟器》中，PLVM 使用来自两个源清洁任务的部分轨迹来预测玩家在留出目标关卡中是否表现出局部持久的“区域规划者”行为还是频繁切换的“区域跳跃者”行为。PLVM 优于基于结果的模型（后者接近随机基线性能），并持续优于单任务过程模型。这些结果表明，可迁移的行为策略并非完全由聚合结果或任一源任务单独的过程轨迹所捕捉。在受控模拟中，当不同的源任务揭示同一底层过程的不同互补方面时，PLVM 能更好地恢复真实的行为表型。总体而言，我们的工作做出了三项贡献：

- ∙\\bullet 我们将早期的跨任务行为策略预测定义为一个与应用相关的问题：利用源任务的部分过程轨迹来预测留出目标任务中的行为策略。
- ∙\\bullet 我们引入了 PLVM，一种过程级潜表示模型，它将特定任务的轨迹嵌入融合到一个共享的人级表示中，用于跨任务预测。
- ∙\\bullet 我们在真实人类游戏行为和受控模拟中均表明，当聚合结果摘要和单任务过程模型不足时，跨任务过程建模可以改善目标任务行为策略的预测。

## 2 相关工作

**过程追踪与行为评估：** 认知科学长期以来一直试图从可观察行为推断潜认知过程。传统评估通常依赖准确率、反应时、完成时间或总分数等结果来估计工作记忆、注意力或认知灵活性等构念的个体差异 [miyake2000unity](https://arxiv.org/html/2605.30550#bib.bib17);[friedman\_unity\_2017](https://arxiv.org/html/2605.30550#bib.bib6)。这些指标有用，但可能坍缩不同的行为过程：两个人在搜索、计划、坚持或切换目标方面可能有差异，却表现出相似的绩效 [marticorena2024minecraft](https://arxiv.org/html/2605.30550#bib.bib15)。过程追踪方法通过将细粒度的行为轨迹视为关于潜规划和决策策略的证据来解决这一局限性 [callaway2017mouselab](https://arxiv.org/html/2605.30550#bib.bib3);[jain2023computational](https://arxiv.org/html/2605.30550#bib.bib8)。这项工作表明，过程数据可以揭示结果摘要遗漏的结构。然而，这部分文献大多关注解释任务内的行为，或从同一设置中的轨迹估计策略。我们的问题不同：我们探究先前任务的部分过程轨迹是否能预测个体在未来任务中如何组织其行为。

**搜索、觅食与导航风格：** 我们的目标行为标签受到搜索和觅食理论的启发。觅食模型研究智能体如何搜索分布式的资源、利用局部资源斑块、决定何时离开一个区域以及在奖励与移动或旅行成本之间进行权衡 [charnov1976optimal](https://arxiv.org/html/2605.30550#bib.bib4)。类似的思想出现在信息觅食和视觉觅食中，其中人类搜索行为受局部持久性、切换以及移动到另一个区域的预期价值所塑造 [pirolli1999information](https://arxiv.org/html/2605.30550#bib.bib19);[bella2022foraging](https://arxiv.org/html/2605.30550#bib.bib2);[kristjansson2020dynamics](https://arxiv.org/html/2605.30550#bib.bib13)。这些理论为描述长时域任务中的空间行为提供了有用的词汇：有些个体局部持久，而其他个体则更频繁地跨区域切换。在我们的工作中，这种区别促成了《冲就完事模拟器》中“区域规划者”与“区域跳跃者”的目标标签。我们的贡献不是提出新的觅食理论，而是一个预测建模框架，学习这种行为组织是否能够从部分过程轨迹跨任务迁移。

**行为遥测、虚拟环境与个体风格：** 游戏和虚拟交互环境提供了大规模、密集且自然的行为轨迹，使其成为研究复杂行为个体差异的有用工具 [marticorena2024minecraft](https://arxiv.org/html/2605.30550#bib.bib15)。先前关于行为遥测的工作已使用此类轨迹来建模绩效、参与度、技能、幸福感或决策风格。密切相关的是行为文体学，它利用决策模式来检测个体决策风格，例如在国际象棋中 [mcilroy2021detecting](https://arxiv.org/html/2605.30550#bib.bib16)。这一领域的研究表明，个体风格可以从行为序列中测量出来。然而，文体学和玩家建模通常在一个领域内操作，或旨在识别个体、预测结果或在观察后表征行为。我们则研究一个早期的跨任务预测问题：给定源任务中的部分行为，预测留出目标任务中的行为策略，该目标任务的轨迹不作为输入被观察到。

**序列模型与跨任务表示学习：** 序列模型，包括 Transformer，可以从行为轨迹中学习时间依赖性 [vaswani2017attention](https://arxiv.org/html/2605.30550#bib.bib21)。它们非常适合建模任务内动态，例如近期动作如何预测未来动作，或局部进展如何预测后续移动。然而，强任务内预测并不能保证恢复可迁移的人级结构。一个序列模型可能会利用特定任务的可供性，同时将这些规律性与个体行为倾向纠缠在一起。多任务和领域表示学习通过跨任务共享信息或学习能跨领域泛化的特征来处理相关问题，但它们通常不是围绕从多个部分轨迹进行人级行为推断来构建的 [yu2025multitask](https://arxiv.org/html/2605.30550#bib.bib23);[collins2024provable](https://arxiv.org/html/2605.30550#bib.bib5);[khoee2024domain](https://arxiv.org/html/2605.30550#bib.bib12);[lippl2024inductive](https://arxiv.org/html/2605.30550#bib.bib14)。PLVM 直接解决了这一问题：特定任务的编码器总结每个源任务的过程轨迹，而一个融合模块学习一个共享的人级表示，用于预测留出目标任务中的行为。

## 3 方法

### 3\.1 问题形式化

我们考虑个体 i∈{1,...,N}，他们在多个任务中被观测。设 K_obs 表示观测到的源任务集合，k^★ 表示一个留出的目标任务。对于每个个体 i 和源任务 k∈K_obs，我们观测到一个部分过程轨迹：

\( X_{i,k}^{(t)} = (x_{i,k,1}, ..., x_{i,k,t}) \),

其中每个 token 记录了事件 t 时可用的过程级信息，例如位置、进度、已用时间、局部任务状态或子任务完成信息。目标是仅使用来自源任务的部分轨迹，预测留出目标任务中的行为目标 y_{i,k^★}。

### 3\.2 过程级潜变量模型 (PLVM)

PLVM 由三个组件构成：任务特定的过程编码器、一个跨任务融合器和一个目标行为解码器。每个任务编码器总结来自一个源任务的部分过程轨迹。跨任务融合器将这些任务嵌入组合成一个共享的人级潜变量表示，解码器则使用该表示来预测行为目标。在我们的实现中，任务特定的编码器被独立训练，然后冻结；融合器和解码器则联合训练，以完成下游跨任务预测任务。图 1 展示了该架构。

![图 1：PLVM 架构](https://arxiv.org/html/2605.30550/S3.F1)（注：原图 caption 被切割，仅保留可见部分。翻译时应包含原 caption 内容，但此处用户输入截断，我们只翻译可见部分）

参阅图注 图 1：PLVM 架构。任务特定的过程编码器将部分源任务轨迹映射为固定维度的嵌入。跨任务融合器结合了