解纠缠技能表示用于预测性人类建模

# 面向预测性人类建模的解耦技能表征
来源：https://arxiv.org/html/2608.23776
###### 摘要
理解人类技能对于协作、指导或辅助人类的AI系统至关重要。与依赖单一观测的典型潜在变量估计问题不同，技能是一种持久、组合且基于行为的结构，必须从随时间推移的行为模式中推断出来。我们提出了**可解释潜在技能抽象**（Skill Abstraction with Interpretable Latents, SAIL），这是一种将人类技能建模为可解释、多维度结构的方法，该结构从自然行为中推断而来。我们的方法产生了一个对暂时性性能波动具有鲁棒性的技能嵌入，并学习了人类子技能的可迁移表征。此外，SAIL支持基于技能的行为预测，该预测可泛化到多种领域内情境。我们为每个个体分配一个持久的技能嵌入，该嵌入控制着专家与新手基础之间的混合，并通过反事实子技能交换进行训练以实现解耦。这种设计旨在鼓励生成既对性能变化具有鲁棒性、又具有可解释性结构的表征。我们在赛车和棒球任务中证明，SAIL在行为预测性能上表现强劲，并且在所评估的基线方法中，始终能提升基于行为的解耦效果，同时改善下游AI指导性能。

Toyota Research Institute
Los Altos, California, USA

## 1 引言

支持、协作或指导人类的AI系统必须理解人类技能，以实现个性化指导、预测行为并随时间调整辅助方式。与机器学习中的许多潜在变量不同，人类技能无法从单个动作或结果中推断出来。相反，它是一种持久的、基于行为的、组合性的结构，必须从重复交互的模式中推断，同时需考虑噪声、变异性以及变化的任务条件（Iso-Ahola 2024；Langley et al. 2004）。

人类技能与机器学习中常见的“技能”概念不同。在机器人学和强化学习中，技能通常指用于任务执行的可重用动作原语或策略（Lesort et al. 2018）。与此相反，我们将人类技能建模为一个持久的、参与者层面的结构，由多个可解释的子技能组成（Newell 1991；Ericsson et al. 1993）。我们进一步区分技能与表现：表现反映了受情境因素（如疲劳或冒险倾向）影响的特定试验结果，而技能则代表了能泛化到不同情境的稳定能力（Iso-Ahola 2024；Fitts and Posner 1967）。混淆两者可能导致评估不准确和干预不当。

我们认为，一个有效的技能表征应满足三个要求：

\(1\) **构念效度**（Messick 1995）：表征应在不同会话中保持稳定，并对试验级别的噪声具有鲁棒性。
\(2\) **预测效用**：表征应支持跨领域情境的准确行为预测。
\(3\) **可解释性**：表征应分解为解耦的子技能，对应人类可识别的专业技能方面。

为满足这些要求，我们引入了**可解释潜在技能抽象**（Skill Abstraction with Interpretable Latents, SAIL），这是一个表示人类技能的计算框架。SAIL并非学习一个无约束的潜在嵌入并期望它反映技能，而是融入了受技能习得理论启发的归纳偏置：技能在观测中持久存在，通过行为表达，相对于专业水平发展，并且由可解释的子技能组成。

直观地说，我们探究个体的行为与典型的新手和专家行为有何不同，而不是让表征直接解释每一个观测到的轨迹。这约束了表征编码结构化的、与技能相关的变异，而非行为波动。为鼓励可解释性，我们使用基于行为的指标对特定子技能的潜在切片进行监督，并引入了一种反事实训练程序，鼓励每个潜在切片代表一个不同的子技能。重要的是，行为预测被用作学习表征的监督信号，而非主要目标。

在本研究中，我们贡献如下：

1. 我们将人类技能建模表述为一个表征学习问题，并确定构念效度、预测效用和可解释性是关键要求。
2. 我们提出了SAIL，一种参与者层面的技能表征方法，它结合了参与者嵌入、新手-专家基础混合和反事实监督，以学习稳定、可预测且可解释的技能表征。
3. 我们在赛车和棒球任务中证明，SAIL优于强基线方法，并将下游指导者反馈预测性能提升了10%。

## 2 相关工作

人类技能已在教育、运动科学、机器人学和人机交互领域得到研究（Anderson 2014；Ericsson et al. 1993）。与任务表现不同，技能是一种持久的潜在结构，必须从随时间累积的行为中推断，而非从单个结果中推断（Newell 1991；Schmidt et al. 2018）。传统的衡量指标，如完成时间或准确率（Fitts and Posner 1967），高度依赖情境，通常反映的是暂时的*表现*，而非底层技能。心理测量学方法，包括项目反应理论和贝叶斯知识追踪，估计相关的潜在结构（Embretson and Reise 2013；Corbett and Anderson 1994；Piech et al. 2015），但这些方法是为离散响应而非连续行为轨迹设计的。

基于轨迹的方法，包括聚类和逆强化学习，从示例中推断潜在结构（Ziebart et al. 2008；Abbeel and Ng 2004）。同样，机器人教学和强化学习中的工作通常将“技能”表示为可重用的动作原语或控制策略（Argall et al. 2009；Cakmak and Thomaz 2012；Hausman et al. 2018；Petangoda et al. 2019；Dave and Rueckert 2025）。虽然这些方法对策略学习很有效，但它们并未将技能建模为一个持久的、可解释的、能泛化到重复观测的结构。

表征学习方法，包括自编码器、变分自编码器和对比学习，已被广泛用于编码人类行为（Kingma and Welling 2013；van den Oord et al. 2018；Zhang et al. 2019）。最近，研究者开始探索参与者层面的表征，以建模重复交互中的持久潜在特征，支持个性化、自适应人机交互和人类行为建模（Jacques et al. 2019；Gopinath et al. 2017；DeCastro et al. 2024；Jeon et al. 2020；Schrum et al. 2023）。解耦表征学习进一步旨在恢复可解释的潜在因子（Higgins et al. 2017；Chen et al. 2016；Kim and Mnih 2018），尽管纯无监督目标并不能保证语义对齐或可识别性（Locatello et al. 2019）。虽然这些方法证明了参与者特定表征和解耦潜在空间的价值，但它们通常优化下游预测或个性化，而非显式地将人类技能建模为一个持久的、可解释的结构。

我们的工作不同之处在于，将*人类技能*建模为一个持久的参与者层面表征，并明确针对构念效度、预测效用和可解释的子技能分解进行优化。通过结合参与者特定的嵌入、新手-专家基础混合和反事实子技能监督，SAIL学习到的表征在重复观测中稳定、跨情境可预测、行为上可解释，并且可用于下游个性化任务。

## 3 方法

**问题表述：** 我们旨在从行为数据中学习人类*技能*的潜在表征。设\(\mathcal{D}=\{\tau_1,\dots,\tau_N\}\)表示一组轨迹，其中每个\(\tau_i=\{x_i^t\}_{t=1}^{T_i}\)是在任务情境\(c \in \mathcal{C}\)（例如，赛道或击球条件）下执行的特征向量序列\(x_i^t \in \mathbb{R}^D\)。我们假设情境\(c_i\)在训练和测试时都被观察到，并且个体的技能可跨情境迁移，而其行为表达则依赖于\(c\)。轨迹可能包含多模态特征，如车辆遥测数据、视线或身体运动学数据。

我们的目标是推断一个个体特定的技能嵌入\(z_s \in \mathbb{R}^d\)，该嵌入应在不同轨迹间稳定，并能泛化到领域内情境（来自同一领域的任务实例）。我们区分*技能*（一种持久结构）与*表现*（Iso-Ahola 2024），后者反映特定试验的结果，并受情境因素影响。我们将技能表示为*组合性的*，其中\(z_s\)分解为可解释的子成分\(z_s^{(k)}\)，对应不同的子技能，这与运动学习理论一致，这些理论将技能描述为由多个相互作用的成分产生（Newell 1991；Anderson 1982）。

为将子技能与行为联系起来，我们使用*技能指标*\(m \in \mathcal{M}\)。技能指标提供了有噪声的行为代理。这些指标源自轨迹、专家标注或辅助任务。多个指标可能映射到同一子技能，它们为学习结构化的\(z_s\)表征提供了监督（详见第3.3节）。我们的方法详述于算法1，并在下文描述。

[图片]图1：SAIL概述。每个参与者都有一个持久的技能嵌入\(z_s\)，该嵌入从多个行为观测中学习。\(z_s\)不是直接解码轨迹，而是通过混合典型的新手和专家基础轨迹来预测行为，鼓励表征捕捉稳定的技能相关变异，而非暂时的行为波动。该嵌入被划分为特定子技能的切片，并使用基于行为的技能指标进行监督，并通过反事实子技能交换实现解耦。

### 3.1 参与者特定的技能嵌入

人类技能是个体的持久特征，而非单次行为观测。因此，从每个轨迹独立推断技能会将稳定能力与试验特定因素（如疲劳、测量噪声、环境变异和策略）混淆。此外，轨迹层面的嵌入本质上与产生该轨迹的个体无关。

为建模持久性，SAIL为每个训练参与者分配一个可学习的技能嵌入\(z_s \in \mathbb{R}^d\)，该嵌入与模型参数联合优化（算法1，第1行）。单一嵌入在同一个参与者的所有轨迹中共享，通过汇集重复观测的证据来捕捉稳定的行为倾向，尽管试验之间存在变异性。这在概念上类似于推荐系统和说话人识别中使用的参与者嵌入（Koren et al. 2009；Snyder et al. 2018）。

然而，仅有持久性并不意味着技能：参与者嵌入可能只是总结了平均行为。在下一节中，我们引入额外的归纳偏置，通过约束行为相对于典型的新手和专家行为基产生，鼓励\(z_s\)编码专业知识，而非任意的行为变异。

测试时，模型参数（\(g_{\phi}, q_{\theta}, h_{\psi}\)）被冻结，仅使用轨迹重构损失优化参与者嵌入。

为防止嵌入塌缩，我们引入了一个辅助网络\(q_{\theta}\)，用于从生成的轨迹中重构\(z_s\)。这为\(z_s\)与预测行为之间的互信息提供了一个变分下界，并鼓励嵌入编码既具有行为意义又可从观测轨迹中恢复的信息（Kingma and Welling 2013；Chen et al. 2016）。

**算法1：SAIL训练**
0：轨迹 \(\tau_i\)，情境 \(c_i\)，子技能指标 \(m_i\)
1：初始化参与者嵌入 \(z_{s,i} \sim \mathcal{N}(0, 0.1)\)
2：对每个训练迭代执行：
3：采样参与者和轨迹的小批量
4：通过专家-新手混合（第3.2节）预测行为 \(\hat{\tau}_{z_s}\)
5：解码预测的子技能指标 \(\hat{m} = h_{\psi}(\hat{\tau}_{z_s})\)
6：计算总损失 \(\mathcal{L} = \lambda_{\text{traj}} \mathcal{L}_{\text{traj}} + \lambda_{\text{metric}} \mathcal{L}_{\text{metric}} + \lambda_{\text{MI}} \mathcal{L}_{\text{MI}}\)
7：如果为CF步骤（概率 \(1-p\)）则
8：交换 \((z_{\text{orig}}^{(k)}, m_{\text{orig}}^{(k)}) \leftarrow (z_{\text{donor}}^{(k)}, m_{\text{donor}}^{(k)})\)
9：从\(\tilde{z}_{\text{orig}}\)重构CF轨迹 \(\tilde{\tau}_{\text{orig}}\)
10：跳过轨迹重构损失；仅对交换的子技能\(k\)应用指标损失
11：结束 if
12：通过反向传播联合更新模型参数和参与者嵌入
13：结束 for

### 3.2 通过新手-专家基础混合的技能表征

参与者特定的嵌入...