PACE：揭示用户请求中的隐藏冲突

# PACE：面向用户请求中潜在冲突的检测  
来源：https://arxiv.org/html/2609.03293  
作者：Yoojin Kim  
所属单位：浦项科技大学计算机科学与工程系  
邮箱：[[email protected]](mailto:)  
Jihyoung Jang  
Hyounghun Kim  
所属单位：浦项科技大学计算机科学与工程系  
所属单位：浦项科技大学人工智能研究生院  
邮箱：[[email protected]](mailto:)  

###### 摘要  
个性化助手不仅要遵循用户请求，还需评估这些请求在用户当前情境下是否合理。然而，现有研究主要关注准确执行请求，忽略了助手需结合上下文并进行基于冲突的拒绝判断的需求。此外，尽管现有冲突或安全检测工作依赖显式提供的因素，但现实场景往往涉及需从知识库检索的隐式因素。为此，我们提出了**面向冲突评估的个性化助手**（PACE），一个用于评估模型能否识别潜在约束的数据集。这些约束表现为以自我为中心的知识或事件，可能使看似合理的用户请求变得不恰当。PACE 将基于明确人格设定的用户请求与以自我为中心的知识库事实配对，要求模型整合上下文证据以判断请求是否存在冲突。这种隐式检索设置阻碍了用户请求与引发冲突知识的直接关联，使现有模型难以识别相关的用户特定事实。针对这一挑战，我们进一步提出了 **PaceMaker**，一个多智能体框架，其中专门的智能体协调查询重构、多跳图遍历和冲突感知过滤，以检索上下文决定性证据。在 PACE 上的实验评估了证据检索质量和冲突决策准确性，表明 PaceMaker 持续优于现有方法。我们的代码和数据集已在 https://github.com/p2chp2t/pacemaker 公开。

## 1 引言  
大型语言模型的最新进展已将人工智能助手从被动的信息检索工具转变为能够支持用户现实决策和行动的系统。为在这些场景中保持可靠，助手不仅需要理解用户的即时请求，还需判断该行动在用户个人状况、先前承诺及周围条件下是否合适。  

> 图 1：冲突感知个性化概述。以用户为中心的知识库包含用户、相关人员及周围情境的信息。尽管预订请求看似可执行，但对同伴饮食限制和餐厅固定菜单的推理揭示了潜在冲突，要求理想助手拒绝预订并提出替代方案。

这种判断往往并不简单。用户请求表面上可能完全合理，但一旦考虑隐藏约束，就可能变得不可取。例如，预订餐厅看似简单，但如果用户在那个时间已有冲突的承诺，或餐厅提供的食物同伴无法食用，那么不加考虑地执行请求将是不恰当的（图 1）。反之，助手若过度拒绝合理请求，则会迫使用户进行不必要的后续交互，降低实用性与效率。因此，理想的助手应做出情境化决策，既不盲目执行也不保守拒绝，而是基于与用户实际状况相关的证据做出判断。

现有的安全与风险感知推理基准主要检测输入中显式存在的风险或有害内容。虽然这些基准对评估单次查询的风险识别有用，但这些以输入为中心的设置未能捕捉现实个性化助手环境中的关键挑战。在实践中，做出恰当决策通常需要从一个充满合理但无关干扰项的大型个人知识库中识别并整合少数真正重要的事实。

为弥补这一差距，我们引入了 **面向冲突评估的个性化助手**（PACE），一个基于检索的数据集，其中个性化助手必须基于以自我为中心的知识库进行推理，以决定是否应满足用户请求。PACE 中的每个请求在孤立情况下都被设计为正常的助手任务；其冲突状态仅在考虑分布于知识库中的隐藏情境事实时才会显现。这使得任务尤其困难，因为决定性证据很少能仅从原始查询中检索到。冲突相关事实往往分散分布，且在语义上可能与查询本身无关。

通过在 PACE 上的实验，我们发现标准检索方法在存在语义干扰项时难以识别上下文决定性证据。基于这些发现，我们提出了 **面向冲突证据的多跳自适应知识提取个性化智能体**（PaceMaker），一个多智能体框架，该框架重构查询以定位潜在冲突信号，通过基于图的多跳遍历探索证据，并过滤干扰项以仅呈现决策相关事实。PaceMaker 持续提高了检索和推理性能，证明了冲突感知证据检索的有效性。

本文贡献如下：  
1. 我们引入了 PACE，一个用于评估基于以自我为中心的知识库的冲突感知推理的数据集。  
2. 我们提出了 PaceMaker，一个针对隐藏冲突证据进行结构化证据检索的多智能体框架。  
3. 我们进行实验表明，检测隐藏情境约束对现有方法仍然是一个重大开放挑战。

## 2 相关工作  
个性化与情境感知助手。个性化最近已成为人工智能助手的一个重要方向。近期关于个性化助手的工作考察了模型能否理解用户特定信息、保留长期记忆以及适应不断变化的用户偏好。同时，先前关于情境安全的研究表明，请求的适当性可能取决于其周围情境。然而，这些设置通常侧重于偏好使用或外部可观察风险，对于那些不当性既非显式存在于请求中，也非仅与单一显著事实相关的情况探索不足。因此，我们聚焦于冲突感知个性化，其中模型必须整合分散的以自我为中心的证据，以检测对原本合理请求的潜在约束。

面向个性化大语言模型的检索与记忆。现有的个性化大语言模型工作涵盖记忆系统、个性化对齐和检索增强生成。最近的个性化和基于图的检索增强生成方法使用用户信号、结构化个人知识以及图扩展机制改进了证据组织和多跳推理。尽管取得了这些进展，但大多数方法优先检索用于回答和个性化的相关或支持性信息，而非上下文敏感请求评估所需的证据。相反，我们的方法将检索构建为诊断性证据选择，旨在定位那些决定一个明显有效的请求是否仍与用户更广泛背景兼容的事实。

## 3 PACE  
我们引入 **面向冲突评估的个性化助手**（PACE），一个新的数据集，旨在评估大语言模型能否识别用户请求与存储在以用户为中心的知识库中的事实之间的情境冲突。

### 3.1 任务定义  
我们的目标是评估模型能否确定用户请求是否与存储在以自我为中心的知识库中的事实相容。我们考虑一个个性化助手设置，其中助手维护关于用户（即自我）的情境知识，以及关于密切相关的个体（如家人、同事或朋友，即他者）的有限信息，仅涵盖与用户决策相关的方面。给定一个请求和这个知识库，模型必须决定是否应执行所请求的操作并解释其决策。该任务的一个关键特征是请求本身在孤立情况下看似正常且可执行。挑战在于，仅在考虑知识库中相关上下文事实时，才会显现出隐藏的情境约束。

### 3.2 可行性状态与情境类型  
PACE 中的每个实例包含一个用户请求和一个以自我为中心的知识库，每个请求都标注了 **可行性状态**，指示在给定知识库下该请求是冲突还是非冲突的，以及 **情境类型**，指定决策所需的主要推理来源。冲突案例指在考虑上下文事实后变得不恰当或不兼容的请求，而非冲突案例在相同条件下仍可行且适当。我们包含非冲突案例是为了确保模型不会仅仅因为存在上下文信息就拒绝请求。

为了进行冲突感知推理的细粒度分析，我们将请求分为三种情境类型：**时间型**、**个人型**和**状态型**。  
- **时间型**：此类涵盖因时间与日程约束而不兼容的请求。例如，如果用户要求助手为其报名参加 19:00 的认证考试，但知识库显示用户之前的研讨会于 18:10 结束，其身份证件必须在 18:30 前从酒店取走，且考试中心距离 45 分钟路程，则该请求造成时间冲突，因为相关承诺导致时间安排不可行。  
- **个人型**：当满足请求会显著违反自我或他者的重要个人约束（如健康状况、个人价值或无障碍需求）时，会出现此类案例。例如，如果用户要求在参观展览后与朋友去一家海鲜煮锅餐厅，但知识库显示该朋友对贝类过敏，推荐此类餐厅将构成个人冲突。  
- **状态型**：此类涵盖因查询时已知的外部条件（如道路状况、张贴的限制或设施运行问题）而变得不恰当的请求。例如，如果用户要求一个下午可以工作的安静咖啡馆，但知识库显示他们常去的咖啡馆在那个时间安排了现场音乐表演，推荐该咖啡馆将构成状态冲突。

### 3.3 数据集生成  
为构建 PACE，我们首先合成以自我为中心的人格场景，然后基于这些场景生成请求和上下文知识库事实。构建过程旨在确保：（1）请求在孤立情况下显得自然且可执行；（2）最终决策取决于隐藏的上下文约束；（3）所需证据分布在多个知识库事实中。

**人格扩展**：我们从 MSC 和 Synthetic-Person-Chat 收集的人格种子开始。由于原始人格相对简单，我们使用 GPT-5.4-mini 将其扩展为更丰富的叙事描述，包含日常生活常规、生活环境、行为倾向以及与个性化助手交互相关的合理情境背景。

**资料合成**：然后，我们随机配对扩展后的叙述以构建自我-他者关系。对于每一对，GPT-5.4-mini 首先生成结构化的自我档案，然后基于自我生成他者档案。最终档案包含职业、健康状况、价值观等个人属性，以及涉及常用场所和设备的具体日常细节，这些细节稍后将成为基于现实生活情境生成冲突感知查询和知识库的基础。

**查询与上下文生成**：基于合成的档案，我们使用 GPT-5.4-mini 生成用户请求以及需要检索的相关知识库事实。