从命题性不对称到感知性不对称:将摩擦策略优化扩展到非对称部分信息对话

arXiv cs.CL 论文

摘要

本文扩展了摩擦策略优化(FPO)以处理对话中的感知性不对称,即参与者持有不对称的部分信息。研究表明,从每个参与者的视角评估摩擦比全知访问更有效,并提出了针对共同基础状态的标注改进。

arXiv:2606.30973v1 公告类型:新论文 摘要:摩擦策略优化(FPO;Pustejovsky 等,2025)将协作对话中的摩擦——不一致、误解、修复——视为共同基础构建中必不可少的认知信号,而非需要最小化的噪声。然而,FPO 及其实现假设共享的感知上下文,其中摩擦源于对同一场景的不同解释的命题,我们将其定义为命题性不对称。我们将 FPO 扩展到感知性不对称,即参与者持有不对称的部分信息,并且相同的指称表达根据谁的信息状态为指称提供基础而产生不同的外延。我们通过跨语料库分析和对指称不对称对话任务(主要是 HCRC MapTask,Anderson 等,1991)的 LLM 探测来评估这一点。我们发现,FPO 的摩擦函数只有在每个参与者的信息视野内评估时才是经验上有效的:不同的地标配置会产生性质不同的共同基础失败模式,其中一小类模糊配置通过看似成功但暗中偏离的轨迹导致了不成比例的误解。LLM 探测证实,拥有“正确的视角”比拥有所有视角更重要:有信息的单一视角优于对双方参与者上下文的全知访问。我们提出了两项标注改进:待定共同基础状态的子类型分解和适应对齐分类。
查看原文
查看缓存全文

缓存时间: 2026/07/01 05:31

# 从命题不对称到感知不对称:将摩擦策略优化扩展到非对称部分信息对话
来源:https://arxiv.org/html/2606.30973
Kyeongmin Rim · James Pustejovsky · 布兰迪斯大学,沃尔瑟姆,马萨诸塞州,美国 \{zhuyifan, krim, jamesp\}@brandeis\.edu

###### 摘要

摩擦策略优化(FPO;Pustejovsky and Krishnaswamy, 2025 (https://arxiv.org/html/2606.30973#bib.bib6))将协作对话中的摩擦——错位、误解、修复——视为一种对共同基础构建至关重要的认知信号,而非需要最小化的噪声。然而,FPO及其实现假定共享的感知语境,其中摩擦源于对同一场景的不同命题解释,我们将其定义为**命题不对称性**。我们将FPO扩展到**感知不对称性**,即参与者持有不对称的部分信息,且相同的指称表达式根据不同参与者的信息状态产生不同的指称对象。我们通过跨语料库分析和基于LLM的探测来评估这一点,主要基于HCRC地图任务(Anderson et al., 1991 (https://arxiv.org/html/2606.30973#bib.bib4))中的指称不对称对话任务。我们发现,FPO的摩擦泛函仅在从每个参与者的信息视界内评估时才经验上有效:不同的地标配置会产生性质不同的基础构建失败模式,其中一小类模糊配置通过看似成功但悄然分叉的轨迹导致了不成比例的大量误解。LLM探测证实,拥有“正确的视角”比拥有所有视角更重要:单一的知情视角优于同时访问双方语境的无所不知视角。我们提出了两项注释改进:对未决基础构建状态进行子类型分解,以及基于容纳感知的对齐分类。

---

# 从命题不对称到感知不对称:将摩擦策略优化扩展到非对称部分信息对话

Yifan Zhu, Kyeongmin Rim, James Pustejovsky  
布兰迪斯大学,沃尔瑟姆,马萨诸塞州,美国  
\{zhuyifan, krim, jamesp\}@brandeis\.edu

## 1 引言

协作对话依赖于共同基础,但构建共同基础本质上并非没有摩擦:参与者会误解、失去对齐,然后修复。摩擦策略优化(FPO;Pustejovsky and Krishnaswamy, 2025 (https://arxiv.org/html/2606.30973#bib.bib6))并未将这种摩擦视为噪声,而是将其重新定义为一种认知信号:误解的时刻暴露了信念状态的差异,策略可以利用这些差异实现更鲁棒的对齐。然而,现有的FPO实现(FAAF;Nath et al., 2025 (https://arxiv.org/html/2606.30973#bib.bib19))假定共享的感知语境,其中参与者对同一场景进行推理但得出不同的信念,我们称之为**命题不对称性**。

最近关于认知不对称下协作构建的研究指向了一种性质不同的设置。在分布式部分信息谜题(DPIP;Zhu et al., 2026 (https://arxiv.org/html/2606.30973#bib.bib18))中,每个参与者持有目标结构的不同部分视图,成功沟通需要协调从未共同观察过的信息;我们称之为**感知不对称性**。正如通过词汇事件模型(Pustejovsky and Zhu, 2024 (https://arxiv.org/html/2606.30973#bib.bib17))所形式化的那样,即使是相同的表面表达式(例如“红色方块在上面”),根据哪个感知框架为基础构建提供指称,也会唤起不同的事件结构,从而产生作为下游后果的指称不对称性。

这种感知分歧促使我们将FPO扩展到对齐评估相对于每个参与者的信息视界而非共享框架的场景。具体来说,我们将摩擦泛函推广为一种视角性的表述,并进行了角色特定的分解:说话者在产生时因框架内歧义而产生摩擦,而听者在解释时因跨框架冲突而产生摩擦。在这种观点下,共同基础不是预设的,而是必须通过协调感知上不相交的证据来积极构建。

具体而言,我们做出了以下贡献。首先,通过语料库分析和基于LLM的探测,我们在HCRC地图任务上展示了,即使在这个受控的合作基础构建任务中,协作对话也表现出显著的感知不对称性:参与者对私有的、不重叠的感知状态进行推理,使得摩擦依赖于视角,并限制了共享场景假设的适用性。其次,我们引入了摩擦泛函的视角绑定评估,并证明与无所不知的视角相比,这种表述揭示了显著更多的摩擦状态,捕捉到了原本无法检测到的分歧。最后,受这些发现的启发,我们对现有的基础构建注释方案提出了两项有针对性的改进:(i) 将未解决的基础构建状态分解为与摩擦子状态对齐的更细粒度子类型;(ii) 通过将基础构建轨迹与对话行为结构关联起来,区分通过协商实现的对齐和通过无声容纳实现的对齐。通过这三项贡献,本文开发了视角绑定FPO的**诊断性**和概念性工具,并在现有对话数据上展示了其实证价值。

## 2 背景

### 2.1 LLM对齐

主流的LLM对齐方法,如RLHF(Christiano et al., 2017 (https://arxiv.org/html/2606.30973#bib.bib10))、DPO(Rafailov et al., 2024 (https://arxiv.org/html/2606.30973#bib.bib11))和GRPO(Shao et al., 2024 (https://arxiv.org/html/2606.30973#bib.bib12)),将策略优化为固定的偏好响应。在协作对话中,这可能会适得其反:一个在不验证实际共同基础的情况下确认表面一致的智能体,会成为虚假共同基础的来源,而不是防范它的屏障。摩擦策略优化(FPO;Pustejovsky and Krishnaswamy, 2025 (https://arxiv.org/html/2606.30973#bib.bib6), 2026 (https://arxiv.org/html/2606.30973#bib.bib7))提出,通过澄清、验证或质疑来故意抵抗立即完成任务,是一种理性的控制行为。FPO将对话策略分解为两个互补的组成部分:一个**干预策略** \(\pi_{\text{int}}(a \mid h)\),它决定是否(以及何种类型的)摩擦动作 \(a\) 根据历史 \(h\) 执行;以及一个**生成策略** \(\pi_{\text{gen}}(y \mid h, a)\),它将选定的动作实现为话语 \(y\)。FPO进一步定义了一个结构化的摩擦泛函 \(F(h, y) = F^{+}(h, y) - F^{-}(h, y)\),它将认知风险分解为可独立测量的组成部分。摩擦智能体对齐框架(FAAF;Nath et al., 2025 (https://arxiv.org/html/2606.30973#bib.bib19))提供了第一个实证实现,表明基于摩擦的对齐在共享感知语境的任务上改善了协作推理。我们采用FPO的摩擦泛函作为理论基础,并将其扩展到FAAF的共享语境假设不成立的设置中(第4节 (https://arxiv.org/html/2606.30973#S4))。

### 2.2 不对称对话中的基础构建

共同基础,即参与者在协调联合行动时依赖的相互知识、信念和假设,不是一个静态的前提条件,而是一个动态的成就,通过**基础构建**(Clark and Brennan, 1991 (https://arxiv.org/html/2606.30973#bib.bib3); Clark, 1996 (https://arxiv.org/html/2606.30973#bib.bib2))的过程逐步构建。当双方参与者有足够证据表明他们的解释趋于一致时,基础构建成功;当双方都继续下去就像一致成立而实际上解释存在分歧时,基础构建无声地失败。

几个面向任务的对话语料库研究了信息不对称下的协作基础构建:重量任务(Khebout et al., 2024 (https://arxiv.org/html/2606.30973#bib.bib14))、DeliData(Karadzhov et al., 2023 (https://arxiv.org/html/2606.30973#bib.bib13))、HCRC地图任务(Anderson et al., 1991 (https://arxiv.org/html/2606.30973#bib.bib4))、OneCommon(Udagawa and Aizawa, 2019 (https://arxiv.org/html/2606.30973#bib.bib15))和分布式部分信息谜题(DPIP;Zhu et al., 2026 (https://arxiv.org/html/2606.30973#bib.bib18))。这些语料库在参与者之间**什么**存在分歧上有所不同:在**命题不对称性**中,参与者共享一个场景 \(S\) 但赋予不同的命题内容(重量任务、DeliData);在**感知不对称性**中,每个参与者观察到不同的证据子集(地图任务、OneCommon、DPIP)。我们关注后者,并在其中关注**结构性的**不对称性:源于任务组织(例如地图任务中的给予者和跟随者角色)的稳定、角色绑定的分歧,这些分歧塑造了整个交互过程中可访问证据的分布。这种结构上不同的访问方式随着对话的展开,会引发下游的感知和命题不对称性。因此,跨语料库的相关比较点不是表面的任务领域,而是底层由角色条件决定的不对称结构,这种结构在许多协作对话设置中反复出现;视角绑定的表述适用于任何证据历史 \(h\) 变得参与者特定的地方。

Li et al. (2025 (https://arxiv.org/html/2606.30973#bib.bib5)) 提供了第一个在单个视角层面追踪基础构建的注释方案,分别为地图任务中每个指称表达式记录了说话者的意图和听者的解释地标(第3.1节 (https://arxiv.org/html/2606.30973#S3.SS1))。他们的关键发现是,一小类多重性差异驱动了不成比例的误解,这促使第4节 (https://arxiv.org/html/2606.30973#S4) 中提出视角绑定的摩擦分类。他们还指出了无所不知偏差的风险:他们的GPT-5注释器由于可以访问两张地图,可能会通过将跨视角的矛盾视为噪声来低估不对称知识,这个警告我们在第6节 (https://arxiv.org/html/2606.30973#S6) 中将其作为一个可量化的指标进行操作。

## 3 数据集

### 3.1 HCRC地图任务

我们利用了同一组128个HCRC地图任务对话(Anderson et al., 1991 (https://arxiv.org/html/2606.30973#bib.bib4))上的两个注释层。在每个对话中,持有打印路线的给予者指导跟随者(后者持有同一区域的不同地图)重现该路线。两张地图共享大多数地标,但在控制的方式上有所不同:一些地标出现在一张地图上但另一张没有(*存在性*差异),一些地标共享名称但标签不同(*词汇*差异),还有少数地标在一张地图上出现两次而在另一张上出现一次(*多重性*)。

第一个层是HCRC地图任务NXT注释版本(v2.1,2011)¹¹¹https://groups.inf.ed.ac.uk/maptask/maptasknxt.html,它将原始语料库注释打包成NXT XML格式,带有与单词级时间单元对齐的对话行为(move)标签(instruct, check, clarify, acknowledge等)。我们在容纳分析(第5.2节 (https://arxiv.org/html/2606.30973#S5.SS2))中使用move标签来识别澄清和验证行为。

第二个层是Li et al. (2025 (https://arxiv.org/html/2606.30973#bib.bib5)) 的逐视角注释,我们称之为地图任务中的基础误解数据集(GMMT,为方便起见我们使用的缩写)。GMMT在相同的128个对话中注释了13,077个指称表达式(RE),分别记录了每个RE的说话者的意图地标和听者的解释地标,从而产生三种理解状态:*对齐*、*待定*和*误解*。在一个对话中共享相同概念ID的RE形成一个**指称链**,追踪单个地标的基础构建如何在整个交互中演变。关键的是,GMMT引入了一个统一的地标ID方案,该方案区分了多重性实例和词汇变体,而原始NXT方案将它们合并了,从而暴露了在早期注释下不可见的虚假共同基础案例(图1 (https://arxiv.org/html/2606.30973#S3.F1))。这种区分很重要:如表1 (https://arxiv.org/html/2606.30973#S3.T1) 所示,多重性差异尽管只占地标的6%,却导致了12%的误解率——是语料库平均值的六倍。

| NXT层 | | | GMMT层 | | |
|-------|---|---|---------|---|---|
| U1 | Giver instruct | “the church on your left” | RE1 [\(c_A\)] “church” | \(g \to c_A\) | \(f \to c_A\) | aligned |
| U2 | Follower check | “the one with the steeple?” | RE2 [\(c_A\)] “the one” | \(g \to c_A\) | \(f \to c_A\) | aligned |
| U3 | Giver instruct | “then go to a vast meadow” | RE3 [\(c_B\)] “vast meadow” | \(g \to c_B^{(0)}\) | \(f \to c_B^{(1)}\) | misund. |

**图1:** 单个对话 \(d\) 的联合注释模式。NXT层:每个话语带有一个对话行为标签(橙色)。GMMT层:每个RE带有一个统一的概念ID(\(c_A, c_B\);上标表示多重性实例,例如 \(c_B^{(0)}\) 与 \(c_B^{(1)}\)),给予者的意图地标(\(g \to\)),跟随者的解释地标(\(f \to\)),以及一个状态(来自{aligned, pending, misunderstood})。在对话 \(d\) 内共享概念ID的RE形成一个**指称链**(红色):链 \(c_A\) 在aligned状态中稳定;链 \(c_B\) 是单一元素 \(r_3\),其中给予者侧的多重性导致尽管名称共享却无声错位。连接点:(dialogue_id, utterance_id)。我们将两个层在 (dialogue_id, utterance_id) 级别连接,为每个GMMT指称表达式提供一组共现的NXT move标签。

**表1:** GMMT语料库中按地标差异类型划分的误解计数和比率(复制自Li et al., 2025 (https://arxiv.org/html/2606.30973#bib.bib5), 表4)。

### 3.2 OneCommon

OneCommon语料库(Udagawa and Aizawa, 2019 (https://arxiv.org/html/2606.30973#bib.bib15))提供了第二个指称不对称任务:两个参与者各自看到2D画布上部分重叠的点集,且坐标框架经过变换,他们必须通过文本对话就一个共享的点达成一致。在5,191个带注释的对话中,1.0%的可标记项被标记为*ambiguous*(表达式与说话者视图中的多个点匹配),0.3%被标记为*unidentifiable*(听者无法解析指称)。这些标签与我们第4节 (https://arxiv.org/html/2606.30973#S4) 中定义的给予者侧和跟随者侧摩擦触发因素一致。然而,OneCommon缺少GMMT的视角主义双重解释结构,因此我们将其作为讨论(第8节 (https://arxiv.org/html/2606.30973#S8))中的跨语料库比较点,而不是主要的评估目标。

## 4 视角性摩擦状态

现有的FPO实现针对具有共享感知语境的任务(例如重量任务,所有参与者在同一个秤上观察相同的方块)。在这种机制下,从完整的交互历史 \(h\) 中提取摩擦状态是良定义的,因为没有私密感知状态会被遗漏。当信息结构转向不对称部分信息设置时,例如不同的地图、不同的点配置、同一个结构的不同视图,\(h\) 不再共享:每个参与者的 \(h^{(i)}\) 包含不对称的、视角特定的证据。正如Pustejovsky and Zhu (2024 (https://arxiv.org/html/2606.30973#bib.bib17)) 所确立的,认知状态是由感知事件塑造的,感知不对称性导致...

相似文章

面向多模态推理的结构化角色感知策略优化

arXiv cs.AI

本文介绍了结构化角色感知策略优化(SRPO),该方法通过在大视觉-语言模型的强化学习框架内,根据感知和推理的不同角色分配令牌级信用,从而提升多模态推理能力。

DiPO:基于解耦困惑度的策略优化,实现细粒度探索-利用权衡

Hugging Face Daily Papers

# 论文页面 - DiPO:基于解耦困惑度的策略优化,实现细粒度探索-利用权衡 来源:[https://huggingface.co/papers/2604.13902](https://huggingface.co/papers/2604.13902) 作者:,,,,,,,,,, ## 摘要 一种面向大语言模型的新型强化学习方法,通过基于困惑度的样本划分与双向奖励分配机制,解决探索-利用权衡问题。[强化学习](https: