神经-符号分层意图预测在人类行为中的应用

arXiv cs.AI 论文
neuro-symbolic hierarchical-planning intention-anticipation human-behavior goal-inference multimodal-learning benchmark

摘要

本文介绍了一种神经-符号分层规划解码器（HPD），用于从多模态片段中预测人类意图。在基准数据集上，它展示了在目标推理和逻辑约束满足方面的性能提升。

arXiv:2609.17064v1 公告类型：新 摘要：辅助自主系统必须在观察到的行为完成之前预测人类目标。本文将预测表述为从部分观察的多模态片段中进行目标推理，以及对剩余行为的结构化预测，而非精确的运动预测。一个紧凑的分层规划解码器（HPD）被附加到一个冻结的神经-符号识别编码器上，并在四个本体层级上预测：下一个动作、剩余活动和低级意图，以及片段高级意图（HLI）。该解码器使用结合转移一致性和分层连续性损失的软神经-符号正则化进行训练，并在推理时使用硬可达性掩码来强制执行本体有效性。在基于NTU RGB+D 120特征构建的包含15,002个多模态片段的组合四层级基准上，同时观察到三个主要特性。相对于最强顺序基线的优势随着预测视野的增加而增长，从步骤1的+1.7点到步骤3的+7.3点（top-5）。在组合泛化情况下，每个多父级低级意图的一个父级关联被排除，这种优势在步骤1扩大到+4.9点。在片段级别，96.8%的预测轨迹满足联合逻辑约束，高于最强基线的88.1%和真实值的73.9%；仅软逻辑项就导致HLI可达性违规相对减少59.8%到71.1%，然后硬掩码完全消除了它们。神经生成提供预测排名，符号约束提供逻辑有效性，它们的组合产生连贯的分层预测，同时暴露了组合目标泛化和无序集合预测中的剩余挑战。
查看原文
查看缓存全文

缓存时间: 2026/09/16 09:07 

# 人类行为中的神经符号分层意图预测
来源：https://arxiv.org/abs/2609.17064  
查看PDF (https://arxiv.org/pdf/2609.17064)

> 摘要：辅助自主系统必须在观察到的行为完成之前预测人类目标。本文将预测形式化为从部分观察到的多模态事件中推断目标，结合对剩余行为的结构化预测，而非精确的动作预测。一种紧凑的分层规划解码器被附加在冻结的神经符号识别编码器上，并在四个本体层面预测下一步动作、剩余活动和低层意图，以及事件高层意图。该解码器通过结合转移一致性和分层连续性损失的软神经符号正则化进行训练，并在推理时通过强制本体有效性的硬可达性掩码进行解码。基于NTU RGB+D 120特征构建的包含15,002个多模态事件的组合四层基准测试中，观察到三个主要特性。相对于最强的序列基线优势随着预测范围的增加而增长，从步骤1的+1.7点增加到步骤3的+7.3点（top-5）。在组合泛化方面，当每个多父级低层意图中留出一个父级关联时，这一优势在步骤1扩大到+4.9点。在事件层面，96.8%的预测轨迹满足联合逻辑约束，高于88.1%的最强基线值和73.9%的真值下限；仅软逻辑项就使高层意图可达性违规相对减少了59.8%到71.1%，而硬掩码则完全消除了它们。神经生成提供预测排序，符号约束提供本体逻辑有效性，二者的结合产生了连贯的分层预测，同时揭示了在组合目标泛化和无序集预测方面的剩余挑战。

## 提交历史

来自：Farnaz SOLEIMANI \[查看邮件 (https://arxiv.org/show-email/e06a014a/2609.17064)\] \[通过CCSD代理\] **\[v1\]** 2026年9月15日 星期二 12:09:03 UTC（96 KB）

相似文章

从临床叙述构建规划领域模型的神经符号方法

arXiv cs.LG

本文介绍了NSPIN，一个神经符号框架，它使用预训练的大型语言模型从临床叙述中提取结构化事件序列，并为手术过程诱导概率规划领域模型。通过在腹腔镜阑尾切除术记录上的评估，展示了其泛化能力和与外科实践的一致性。