多智能体协商中基于对手建模的偏好估计

# 多智能体谈判中通过对手建模进行偏好估计

来源：https://arxiv.org/html/2604.15687

Yuta Konishi1,Kento Yamamoto2,Eisuke Sonomoto2,Rikuho Takeda2, Ryo Furukawa2,Yusuke Muraki2,Takafumi Shimizu1,Kazuma Fukumura1, Yuya Kanemoto2,†,Takayuki Ito1,Shiyao Ding1,†

1京都大学信息学研究生院，日本京都
2Accenture Japan Ltd，日本东京
†[email protected],[email protected]

###### 摘要

在复杂的多方和多议题设置中，自动化谈判的成功在很大程度上取决于准确的对手建模。然而，传统的仅数值方法无法捕获自然语言交互中的定性信息，导致偏好估计不稳定且不完整。虽然大语言模型（LLM）能够进行丰富的语义理解，但将这些信息定量融入一致的对手建模仍具有挑战性。为了解决这一问题，我们提出了一种新颖的偏好估计方法，将自然语言信息整合到结构化的贝叶斯对手建模框架中。我们的方法利用LLM从话语中提取定性线索，并将其转换为概率格式以进行动态信念追踪。在多方基准上的实验结果表明，通过将概率推理与自然语言理解相结合，我们的框架提高了完全达成协议率和偏好估计精度。

## 1 引言

在现代社会中，自动化谈判是解决冲突和在不同利益相关者之间建立有效共识的关键技术（Memo等人，2025；Bagga等人，2021）。该领域的发展历程包括集成开发环境，如通用智能多用途使用模拟谈判环境（GENIUS）（Lin等人，2014），以及国际竞赛，如自动谈判智能体竞赛（ANAC）（Baarslags等人，2012）。一个重要的里程碑是BOA架构（Baarslags等人，2014），它将谈判智能体标准化为三个解耦的组件：出价策略、对手模型和接受策略。在多方、多议题设置中，对手建模对战略决策仍然至关重要（Baarslags等人，2016）。传统上，这些模型通过贝叶斯学习（ZENG和SYCARA，1998；Hindriks和Tykhonov，2008）和强化学习（He等人，2016）进化而来，主要从数值提案历史中估计效用函数。然而，仅数值方法在高信息不确定性下难以捕获定性背景，导致估计不稳定（Baarslags等人，2016）。

为了解决这些限制，将大语言模型（LLM）集成到谈判和决策框架中已获得关注（Abdelnabietal等人，2024；Fu等人，2023）。LLM具有复杂的语境理解和心理理论（ToM）能力（Kosinski，2024；Chan等人，2024），能够提取传统模型中通常丧失的定性偏好信号。尽管如此，直接应用思维链（CoT）（Wei等人，2022）、思维树（ToT）（Yao等人，2023）或多智能体辩论（MAD）（Liang等人，2024）等推理技术到基于LLM的智能体上揭示了新的挑战：长期谈判期间缺乏战略一致性（Chan等人，2024）、跨不同问题设置的泛化脆弱（Zhao等人，2025），以及随着可用信息量增加推理复杂性的指数增长（Abdelnabietal等人，2024）。此外，之前关于使用LLM进行自然语言谈判的工作（Chen等人，2024；Chan等人，2024）主要关注静态或短视距评估设置中的意图推理，其中战略动力有限。这些方法通常缺乏随时间推进的形式化信念更新机制，从而阻碍了动态谈判场景中的稳定偏好追踪。

![图1：谈判流程概览（左）和提议的贝叶斯对手建模过程（右）。左侧面板显示三个阶段：p₁的初始提案、代理p₁...p₆之间交换协议和话语的中间轮次，以及p₁的最终提案。每轮t的协议表示为dₜ=(oₜ¹,...,oₜᴹ)，其中oₜᵐ表示为议题iₘ选择的选项。在此示例中，议题用大写字母表示，选项用索引表示。例如，初始提案d₁=(A1,B3,C3,D1,E4)对应于d₁=(o₁¹=A1,o₁²=B3,o₁³=C3,o₁⁴=D1,o₁⁵=E4)，意味着为议题A选择选项1，为议题B选择选项3，以此类推。右侧面板说明了p₁对假设hₖ的内部建模，包括：（1）解析对手的话语uₜ来估计偏好信号zₜ；（2）计算zₜ的似然度（通过卢斯选择公理）和提议协议dₜ的似然度（通过正态分布近似）；以及（3）通过贝叶斯融合更新hₖ的后验概率。](https://arxiv.org/html/2604.15687#S1.F1)

为了应对这些挑战，我们提出了一种新颖的偏好估计方法，将对话中的自然语言信号整合到结构化的贝叶斯框架中。我们的方法利用LLM提取定性线索，随后将这些线索转换为与概率模型兼容的格式以进行动态信念追踪。

我们的主要贡献总结如下。首先，我们提出了一个集成框架，通过LLM补充定性意图提取，通过贝叶斯推理实现定量偏好估计。其次，我们证明提议的方法在复杂多方场景中实现了优于仅依赖数值数据或直接LLM推理的基线的偏好估计性能。最后，我们展示了我们的框架即使在高度不确定性下也改进了协议率，从而便于更有效的自主谈判。

## 2 问题形式化

我们采用Abdelnabietal等人(2024)提出的可计分谈判框架。设P={p₁,...,pₙ}表示当事人集合，其中pₙ∈P，I={i₁,...,iₘ}表示议题集合，其中iₘ∈I，每个议题iₘ有有限的选项集Oₘ={o¹ₘ,...,o^Kₘₘ}，其中o^m_k∈Oₘ。在第t轮提议的协议dₜ定义为选项的元组dₜ=(oₜ¹,...,oₜᴹ)，其中每个oₜᵐ∈Oₘ为对应议题iₘ选择。

每个当事人pₙ对每个议题iₘ保有私有评分函数s^m_n:Oₘ→ℝ，当事人pₙ对协议dₜ的效用定义为这些评分的总和：

Uₙ(dₜ)=∑ᴹₘ₌₁s^m_n(oₜᵐ)。                (1)

达成协议后，每个当事人获得效用Uₙ(dₜ)。否则，每个当事人获得其最佳谈判替代方案（BATNA），由私人保留价格阈值τ_pₙ∈ℝ表示。

图1的左侧面板说明了谈判流程。谈判持续最多T轮。在第t轮，指定的当事人提议协议dₜ和自然语言话语uₜ，而不透露评分函数；当事人从dₜ和uₜ的历史记录推断其他当事人的偏好。谈判的成功由最后一轮的协议dₜ决定。当且仅当至少最少所需数量的当事人（包括所有否决权持有人）满足Uₙ(dₜ)>τ_pₙ时，才达成协议。

## 3 贝叶斯偏好估计方法

本节描述我们在每个谈判轮次明确估计对手偏好的方法。我们的方法建立在Hindriks和Tykhonov(2008)建立的贝叶斯对手建模框架基础上，将其扩展为使用LLM整合自然语言信息。图1的右侧面板说明了我们提议的对手建模框架的具体机制。

### 3.1 模型表示和假设空间

首先，我们定义对手策略的表示和可能偏好的空间。我们使用两个组件表示对手的偏好模型：议题权重向量**w**=[w₁,...,wₘ]，捕获每个议题的相对重要性，以及评估函数集合**v**=[v₁,...,vₘ]，其中每个vₘ指定议题iₘ选项上的偏好形状。基于这些组件，代理维护对可能的对手偏好的有限假设空间。

#### 假设空间。

为了估计对手的评分函数，代理维护一个有限的候选假设集合H={h₁,...,hₖ}。每个假设hₖ∈H表示权重向量**w**^(k)=[w₁^(k),...,wₘ^(k)]的特定组合，表示每个议题的相对重要性，以及评估函数向量**v**^(k)=[v₁^(k),...,vₘ^(k)]，代表每个议题的偏好形状。

#### 估计效用函数。

在给定假设hₖ下，协议dₜ的估计效用Û(dₜ;hₖ)建模为加性效用函数。它计算为评估函数的加权和：

Û(dₜ;hₖ)=∑ᴹₘ₌₁wₘ^(k)·vₘ^(k)(oₜᵐ)。                (2)

#### 基于数值提议的似然度。

假设对手采用让步为基础的策略，我们定义在假设hₖ下观察到协议dₜ的似然度P(dₜ|hₖ)。这是基于估计效用Û(dₜ;hₖ)和u'(t)之间的接近性：

P(dₜ|hₖ)∝exp(-(Û(dₜ;hₖ)-u'(t))²/2σ²)。                (3)

这里，u'(t)表示对手在第t轮的假设目标效用，反映随时间推移的让步为基础的抱负水平。尽管我们在此采用让步式策略作为基于提议的似然度的标准基线，但该组件是模块化的，可以替换为其他行为模型，而不改变语言似然度或贝叶斯融合规则。

此外，尽管假设空间随着议题数量增加呈阶乘增长，之前的工作(Hindriks和Tykhonov，2008)已提出了这类贝叶斯对手建模的可扩展近似方法，可以无需改变贝叶斯更新本身地融入我们的框架中。

### 3.2 通过LLM进行语言似然度估计

我们描述如何将语言话语转换为对手偏好的概率。作为对Eq. (3)中观察到的协议似然度的补充，我们根据话语定义对手偏好的语言似然度。

#### 通过LLM进行信号提取。

我们使用LLM将话语uₜ解析为结构化信号zₜ。每个信号zₜ由以下两个属性表示：

- **目标**：信号所指的议题或选项。目标可以采用四种形式之一：(i)单个议题，(ii)两个议题的比较，(iii)单个选项，或(iv)两个选项的比较。
- **立场**：对目标的态度，例如"偏好"或"反对"。这些属性共同使代理能够将定性信息——例如"议题i₁很重要"或"选项o¹₁比o¹₂更可取"——转换为适合概率计算的形式。

在当前形式化中，我们假设这样的语言信号基本上是真实的。这个假设可以在未来工作中通过引入可靠性参数来放宽，该参数根据语言证据与谈判过程中观察到的提议和对话的一致性动态控制其贡献。

#### 基于卢斯公理的似然度计算。

为了量化似然度P(zₜ|hₖ)，我们应用卢斯选择公理。例如，观察到表示对议题iₓ偏好的信号的概率定义为：

P(zₜ∈Z_{iₓ,pref}|hₖ)=wₓ^(k)/∑ᴹₘ₌₁wₘ^(k)，                (4)

其中Z_{iₓ,pref}表示表示对议题iₓ"偏好"立场的信号集合。类似地，比较或反对的似然度基于**w**^(k)和**v**^(k)内各组件的相对比率对每个假设hₖ计算。

### 3.3 通过多模态观察进行偏好更新

我们现在将Eq. (3)中的数值提议似然度和Eq. (4)中的语言似然度整合到统一的贝叶斯更新规则中。为简起见，我们采用朴素贝叶斯假设，在该假设下，数值提议dₜ和语言信号zₜ 在给定假设hₖ 的条件下条件独立。在此假设下