归因市场:计划任务与执行动作之间分数信用分配的一种费雪市场模型

arXiv cs.LG 论文

摘要

本文提出将计划任务与执行动作之间的桥梁构建为拟线性费雪市场,实现分数信用分配。引入了守恒与垃圾过滤工具,并通过熵正则化扩展模型以处理噪声,将其与最优传输统一。

arXiv:2607.20694v1 Announce Type: new 摘要: 个人与组织规划系统维护着两条逐渐偏离的记录:计划内容(任务的精力预算)与实际完成内容(已记录动作的时长与描述)。现有系统通过排他性的全有或全无链接来桥接它们,导致真正相关但未链接的精力被搁置,并且在活跃目标上报告虚假的停滞。我们将桥梁构建为拟线性费雪市场:计划任务是预算受限的买家,执行动作是可分割的商品,而融合的文本/结构/时间信号设定了每个买家的估值。两种市场工具——卖家保留价和买家现金选项——作为定理实现了守恒、硬预算上限和可证明的垃圾过滤。我们通过凹完成效用扩展了市场,当任务接近计划时对进展进行折扣;该市场算法的标准收敛理论在此不适用,通过满足阈值不动点(布劳威尔定理)以及在显式对角占优条件下的局部唯一性解决,并在随机和对抗实例上进行了实证验证。一种去循环、多种子基准——观察到的亲和度独立于评分真实值而受损——暴露了一个真正的弱点:市场尖锐的零熵均衡对亲和度噪声比熵正则化最优传输的永久平滑均衡更敏感。我们通过一个单参数熵正则化泛化统一了两者,并加上噪声自适应规则来确定正则化强度。我们报告了完全可重现参数,坦诚讨论了局限性,并将结果与多点归因、最优传输和在线费雪市场算法联系起来。
查看原文
查看缓存全文

缓存时间: 2026/07/24 05:13

# 归因市场:计划任务与执行行动之间分数信用分配的一个Fisher市场公式

来源:https://arxiv.org/html/2607.20694

###### 摘要

个人与组织的计划系统维护着两类记录,它们之间逐渐偏离:一类是*计划*(任务的精力预算),另一类是*已执行*(记录的行动时长与描述)。现有系统通过一种排他性的、全有或全无的链接来桥接二者,这使得真正相关但未链接的精力被孤立,并在活跃目标上报告虚假停滞。我们将这座桥梁形式化为一个*拟线性Fisher市场*:计划任务是预算受限的买家,已执行行动是可分割的商品,而一个融合文本/结构/时间的信号设定每个买家的估值。两个市场工具——一个卖家保留价和一个买家现金选项——以定理形式提供了守恒性、硬预算上限和可证明的垃圾过滤器。我们为市场扩展了一个凹的*完成效用*,该效用随着任务接近其计划而对进展进行折扣;市场算法的标准收敛理论在此处不适用,我们通过一个存在性(Brouwer)和在显式对角占优条件下局部唯一性的饱足阈值不动点来解决,并在随机和对抗性实例上进行了经验验证。一个去循环化、多基准的评估基准——观察到的亲和度独立于评分的真实标签而受到污染——揭示了一个真正的弱点:市场的尖锐、零熵均衡比熵正则化最优传输的永久平滑均衡对亲和度噪声更为敏感。我们通过一个统一两者的单参数熵正则化泛化,以及一个噪声自适应的正则化强度规则来解决这个问题。我们报告了完整的可复现参数,坦诚地讨论了局限性,并将结果与多点归因、最优传输和在线Fisher市场算法联系起来。

###### 关键词:Fisher市场、资源分配、信用分配、多点归因、投资组合优化、比例响应动态、熵正则化、决策支持系统

## 1 引言

### 1.1 动机

一个计划系统——无论是个人还是组织——维护着两个本应从两个方向描述同一活动的记录。*计划侧*持有任务:描述、精力预算和时间窗口。*结果侧*持有实际发生事件的日志:描述、时长、时间戳。进展报告需要两者之间的桥梁:每一个记录的精力单位都应归因于某个任务(或诚实地不归因于任何任务),而一个任务的报告进展应为其收到的归因总和。实践中使用的桥梁几乎总是一个*排他性链接*:一个行动是在某个任务下创建的,此时其所有时长都计入该任务,或者不是,此时则不计入。这个全有或全无的规则以一种特定且常见的方式失败:与任务真正相关的工作——准备性阅读、相邻实操、在没有明确打开任务的情况下在同一领域完成的工作——对桥梁来说是隐形的。结果是,系统在一个实际上正在推进的目标上报告零进展,而审查过程则以一个虚假警报开始。

### 1.2 贡献

我们提议将这座桥梁视为一个市场:每个已执行行动是一个可分割的*商品*,每个计划任务是一个预算受限的*买家*,而一个融合的相似度信号设定每个买家对每个商品的估值。底层对象并非新事物——它是Eisenberg和Gale的Fisher市场[1](https://arxiv.org/html/2607.20694#bib.bib1)——但据我们所知,它尚未被应用于这个归因问题,并且放置在其上的两个工具(一个卖家保留价和一个买家现金选项)恰好提供了该问题所需的保证。具体而言,我们 (i) 定义了一个正式的*归因市场*(第4节 (https://arxiv.org/html/2607.20694#S4)),该市场具有作为定理证明的三个性质——守恒性、硬预算上限和可证明的垃圾过滤器——软最大值或最优传输基线均不满足这些性质;(ii) 添加了一个*寻求完成*的扩展(第5节 (https://arxiv.org/html/2607.20694#S5)),其饱和效用打破了市场算法的标准收敛证明,表明明显的朴素修复是空洞的,并通过一个*饱足阈值*不动点(算法2 (https://arxiv.org/html/2607.20694#alg2))来解决,我们通过Brouwer定理证明了其存在性,并通过一个显式的充分条件证明了其局部收敛性,两者均经过数值验证;(iii) 揭示并解释了一个真正的*弱点*(第6.4节 (https://arxiv.org/html/2607.20694#S6.SS4))——一个去循环化、多基准的基准测试表明,市场对亲和度噪声比熵正则化最优传输更敏感,我们将其归结为永久正则化不动点与消失正则化解路径之间的区别,并通过一个单参数熵泛化及其强度的噪声自适应规则来解决;(iv) 报告了一个完全可复现、去循环化的合成评估(第6节 (https://arxiv.org/html/2607.20694#S6)),包含一个明确的复现表、声明的有效性威胁,以及对保证比初看起来更弱的地方的坦诚说明(第7.3节 (https://arxiv.org/html/2607.20694#S7.SS3))。这有意是一篇公式化与应用型的论文,而非声称新的数学成果:Fisher均衡、通过比例响应动态的计算以及我们所依赖的均值-方差机制都是经典内容。新颖之处在于将计划精力视为清除已记录精力的市场货币——这一举措将两个非正式要求(“不要过度归因于任务”,“不要将不相关的工作强行分配给最近的任务”)转化为关于一个充分理解的均衡的定理,并分析了该公式的自然扩展在何处打破了现有收敛理论以及这些断裂如何被修复。在应用运筹学和决策支持工作的传统中,我们将一个已建立的均衡概念引入一个新领域,严谨分析哪些可以迁移哪些不能,并进行验证。两个进一步的扩展——结算期限下的时间动态和一个引导未来规划的前瞻性市场——在第5.4节 (https://arxiv.org/html/2607.20694#S5.SS4)中总结,并在附随的技术报告[2](https://arxiv.org/html/2607.20694#bib.bib2)中详细展开;本文的范围是公式化、其保证、其计算及其诚实的经验评估。

### 1.3 论文组织

第2节 (https://arxiv.org/html/2607.20694#S2)回顾相关工作。第3节 (https://arxiv.org/html/2607.20694#S3)给出数据模型和亲和度融合信号,包括一个具体的拟合过程。第4节 (https://arxiv.org/html/2607.20694#S4)定义基础归因市场并证明其保证。第5节 (https://arxiv.org/html/2607.20694#S5)发展寻求完成的扩展及其收敛解决方案、风险感知估值,并总结时间和前瞻性扩展。第6节 (https://arxiv.org/html/2607.20694#S6)报告去循环化的经验评估,包括它揭示的噪声敏感性弱点、其理论解释及其解决方案。第7节 (https://arxiv.org/html/2607.20694#S7)讨论何时更简单的替代方案就足够了(第7.1节 (https://arxiv.org/html/2607.20694#S7.SS1)),更广泛的论点即计划可描述为一个市场——此处的Fisher模型是其中之一,开启了一个动态、不确定性感知和基于学习的项目(第7.2节 (https://arxiv.org/html/2607.20694#S7.SS2))——以及模型的局限性(第7.3节 (https://arxiv.org/html/2607.20694#S7.SS3))。第8节 (https://arxiv.org/html/2607.20694#S8)总结。

## 2 相关工作

归因问题位于几个文献的交汇处,但没有一个能单独解决它;表1 (https://arxiv.org/html/2607.20694#S2.T1)总结了我们在此节发展的映射关系。

#### 信用分配与多点归因。
一般的信用分配问题——给定一个复合结果,哪些贡献决策应获得信用——可追溯到Minsky[3](https://arxiv.org/html/2607.20694#bib.bib3);强化学习发展了其时间形式[4](https://arxiv.org/html/2607.20694#bib.bib4), [5](https://arxiv.org/html/2607.20694#bib.bib5)。与我们*问题*最接近的是营销中的多点归因:一次转化按分数归因于多个广告触点。早期数据驱动模型使用了袋装逻辑回归[6](https://arxiv.org/html/2607.20694#bib.bib6)和马尔可夫链移除效应[7](https://arxiv.org/html/2607.20694#bib.bib7);该领域最近的转向是因果性的,在归因之前重新加权旅程以消除混杂[8](https://arxiv.org/html/2607.20694#bib.bib8)。该文献提供了分数归因框架,但没有预算或价格系统,因此没有提供类似于我们预算上限保证的机制。

#### 软分配与最优传输。
通过期望最大化拟合的混合模型[9](https://arxiv.org/html/2607.20694#bib.bib9)和注意力机制[10](https://arxiv.org/html/2607.20694#bib.bib10)是逐项分数加权方案,在我们的层级结构(第4.4节 (https://arxiv.org/html/2607.20694#S4.SS4))中等价于一个单一、未耦合的Sinkhorn步骤。最优传输[11](https://arxiv.org/html/2607.20694#bib.bib11), [12](https://arxiv.org/html/2607.20694#bib.bib12), [13](https://arxiv.org/html/2607.20694#bib.bib13)及其非平衡泛化[14](https://arxiv.org/html/2607.20694#bib.bib14)通过守恒性耦合列(行动)并通过容量耦合行(任务);低秩和非平衡求解器[15](https://arxiv.org/html/2607.20694#bib.bib15)使其在大规模下高效。这是我们比较中最强的*无价格*基线,并且,正如我们的实验所示(第6节 (https://arxiv.org/html/2607.20694#S6)),它是更*抗噪*的——这一事实我们在第6.4节 (https://arxiv.org/html/2607.20694#S6.SS4)中从理论上解释。

#### 基于市场的分配。
Fisher市场均衡及其线性效用下的凸规划特征[1](https://arxiv.org/html/2607.20694#bib.bib1), [16](https://arxiv.org/html/2607.20694#bib.bib16)、通过比例响应动态的计算[17](https://arxiv.org/html/2607.20694#bib.bib17), [18](https://arxiv.org/html/2607.20694#bib.bib18)以及其作为比例公平[19](https://arxiv.org/html/2607.20694#bib.bib19)和Nash讨价还价解[20](https://arxiv.org/html/2607.20694#bib.bib20)的公平性解释,是我们基础模型的数学核心。近似竞争均衡(平等收入)已被用于课程座位分配[21](https://arxiv.org/html/2607.20694#bib.bib21),而节奏均衡被用于预算受限的广告拍卖[22](https://arxiv.org/html/2607.20694#bib.bib22);两者都证明了将真实分配问题转化为市场均衡是一个已建立、经过生产检验的举措,而这正是我们在此所做的。最近的工作将Fisher市场计算在线化,并提供了遗憾和统计推断保证[23](https://arxiv.org/html/2607.20694#bib.bib23), [24](https://arxiv.org/html/2607.20694#bib.bib24);我们在第5.4节 (https://arxiv.org/html/2607.20694#S5.SS4)中讨论这作为我们模型流式版本的自然路径。

#### 投资组合优化。
Eisenberg–Gale目标函数形式上是一个预算加权的对数收益和——即对数最优(Kelly)投资组合增长的目标[25](https://arxiv.org/html/2607.20694#bib.bib25), [26](https://arxiv.org/html/2607.20694#bib.bib26)——而Eisenberg和Gale的最初推导是作为博彩市场的盈亏总额方法,这使得“任务作为投注者将预算押注在证据上”成为模型的字面祖先而非装饰性类比。均值-方差投资组合选择[27](https://arxiv.org/html/2607.20694#bib.bib27)及其鲁棒化[28](https://arxiv.org/html/2607.20694#bib.bib28), [29](https://arxiv.org/html/2607.20694#bib.bib29)为我们第5节 (https://arxiv.org/html/2607.20694#S5)中使用的风险感知扩展提供了信息。

#### 桌面任务上下文跟踪与记录链接。
TaskTracer和TaskPredictor[30](https://arxiv.org/html/2607.20694#bib.bib30), [31](https://arxiv.org/html/2607.20694#bib.bib31)在二十年前将低级桌面活动与声明的任务关联起来,使用了硬分类——正是我们论文动机中所述的那种失败的全有或全无桥梁。记录链接理论[32](https://arxiv.org/html/2607.20694#bib.bib32)为我们用于亲和度信号的对数线性证据融合模板(第3.2节 (https://arxiv.org/html/2607.20694#S3.SS2))提供了基础;基于LLM的实体匹配[33](https://arxiv.org/html/2607.20694#bib.bib33)和标准化嵌入基准[34](https://arxiv.org/html/2607.20694#bib.bib34)是该传感器的现代实例化。

表1:归因问题的要求及其各自来源的文献。没有单一分支提供所有要求;本文的贡献在于组装及其分析。

## 3 问题公式化

### 3.1 数据模型与符号

在任何时刻,系统持有任务 $i=1,\dots,m$,每个任务有一个文本描述、一个精力预算 $b_i > 0$(尚未结算的计划小时数)和一个计划窗口 $[\sigma_i, \tau_i]$;以及行动 $j=1,\dots,n$,每个行动有一个文本描述、一个时长 $d_j > 0$(记录的小时数)、一个时间戳 $t_j$,以及一个可选的显式链接 $\ell_j \in \{1,\dots,m\} \cup \{\varnothing\}$。一个特殊的索引 $i=0$,即*浮动*,持有未归因的精力。需要计算的对象是一个*份额矩阵* $W \in [0,1]^{(m+1)\times n}$,满足对于每个 $j$,$\sum_{i=0}^m w_{ij} = 1$;任务进展为 $P_i = \sum_j w_{ij} d_j$,质量调整后的进展为 $V_i = \sum_j q_{ij} w_{ij} d_j$,其中 $q_{ij}$ 是接下来定义的亲和度。

### 3.2 亲和度信号

遵循记录链接模板[32](https://arxiv.org/html/2607.20694#bib.bib32),我们在对数几率空间中融合三个独立的证据来源,并通过逻辑链接传递结果:
$$ q_{ij} = \sigma\left(\lambda_{\mathrm{sem}} \cos\!\big(E(x_i^{\mathrm{T}}), E(x_j^{\mathrm{A}})\big) + \lambda_{\mathrm{link}} \mathbb{1}[\ell_j = i] + \lambda_{\mathrm{time}} \kappa(t_j; \sigma_i, \tau_i)\right)^{\gamma}, \tag{1} $$
其中 $E$ 是一个文本嵌入模型,$\kappa$ 是一个窗口核(在任务窗口内全权重,外部折扣),$\sigma(\cdot)$ 是逻辑函数,$\gamma > 1$ 将中等相似度向极端锐化。与我们早期技术报告[2](https://arxiv.org/html/2607.20694#bib.bib2)中的探索性处理不同,我们在此给出一个具体的、可复现的 $\lambda = (\lambda_{\mathrm{sem}}, \lambda_{\mathrm{link}}, \lambda_{\mathrm{time}})$ 拟合过程。

#### 拟合过程。
给定一个标注的纠正集 $\mathcal{D} = \{(i, j, y_{ij})\}$,其中 $y_{ij} \in \{0,1\}$ 记录用户确认的匹配($1$)或不匹配($0$),我们通过最大化数据的对数似然来拟合 $\lambda$,该对数似然是在公式 (1) 下的伯努利模型。这等价于一个具有逻辑链接的广义线性模型(GLM),其中线性预测器是三个特征的加权和:余弦相似度、链接指示符和时间核。我们使用 L-BFGS 算法进行优化,梯度计算为 $\partial \ell / \partial \lambda_k = \sum_{(i,j) \in \mathcal{D}} (y_{ij} - \sigma(\eta_{ij})) \cdot \partial \eta_{ij} / \partial \lambda_k$,其中 $\eta_{ij} = \lambda_{\mathrm{sem}} \cos_{ij} + \lambda_{\mathrm{link}} \mathbb{1}_{ij} + \lambda_{\mathrm{time}} \kappa_{ij}$。正则化:我们在 $\lambda$ 上放置一个弱 $\ell_2$ 先验($\sigma = 10$)以防止特征完全共线性时的发散,这对于以下参数约束在 $\lambda_k \geq 0$ 是充分的。我们的实现(附录 A)包括一个烧入阶段和一个早期停止规则,用于在保留集上的最小似然。在实践中,我们使用 100 个用户验证样例来拟合这些参数,每个样例包含 5 到 20 个行动;完整的拟合大约需要 0.2 秒。

### 3.3 任务-行动亲和度矩阵

公式 (1) 产生一个任务-行动亲和度矩阵 $Q \in [0,1]^{m \times n}$,其中每个条目 $q_{ij}$ 是任务 $i$ 与行动 $j$ 之间匹配置信度的估计。这个矩阵是市场运算的核心输入:它编码了“此行动对任务 $i$ 的相关性如何?”的估计。我们强调,该矩阵是条件于观察到的数据的——它是一个统计匹配分数,而不是真实因果效应的陈述。在我们的评估中(第 6 节),我们通过独立于真实关联向 $Q$ 添加噪声来模拟匹配中的错误,以测试市场对不完美输入的鲁棒性。

### 3.4 讨论:为什么是 Fisher 市场?

平面分配(例如,软最大值)忽略了预算约束:一个具有大亲和度得分的行动可能被分配给一个预算已经耗尽的任务,从而导致不切实际的进展报告。最优传输强制守恒性和容量约束,但不知道任何任务是否愿意“花钱”来获得行动——它只是找到使总工作量最小化的耦合。一个 Fisher 市场通过明确的价格系统纳入预算和偏好:每个任务有一个预算 $b_i$,并且面对价格 $p_j$(在均衡中内生确定),它选择最大化其效用的行动组合,效用是其分配到行动的亲和度得分的加权和对数形式。这自然产生了一个分数归因,满足:1)总归因精力等于总记录精力(守恒性);2)没有任务获得超过其预算的归因(预算上限);3)与所有任务亲和度都低的行动保留高价格,从而自动“作为垃圾被过滤”(垃圾过滤器)。这三个性质——在定理 1、2 和 3 中证明——构成了我们基础模型的核心保证。

## 4 基础归因市场

### 4.1 定义

给定一个亲和度矩阵 $Q \in \mathbb{R}_{+}^{m \times n}$,任务预算 $b \in \mathbb{R}_{+}^{m}$ 和行动时长 $d \in \mathbb{R}_{+}^{n}$,一个*归因市场*由以下成分定义:
- **商品**:$n$ 个行动,每个具有初始禀赋 $d_j > 0$ 单位(“时长”)。
- **买家**:$m$ 个任务,每个具有预算 $b_i > 0$。
- **卖家**:一个代表性代理(“系统”),初始拥有所有商品。
- **效用函数**:任务 $i$ 从消费份额向量 $w_i = (w_{i1}, \dots, w_{in})$(其中 $\sum_j w_{ij} d_j \leq b_i$)中获得的效用为
$$ u_i(w_i) = \sum_j q_{ij} \log(w_{ij} d_j). $$
注意,由于 $q_{ij}$ 可能是零,我们通过将 $\log(0)$ 定义为 $-\infty$ 来扩展效用函数,从而任务将避免消费任何 $q_{ij} = 0$ 的商品。
- **均衡**:一个价格向量 $p \in \mathbb{R}_{+}^{n}$ 和一个分配矩阵 $W \in [0,1]^{(m+1) \times n}$,满足:
  1. 市场出清:对于每个 $j$,$\sum_{i=0}^m w_{ij} d_j = d_j$(所有行动时长被分配)。
  2. 预算约束:对于每个 $i$,$\sum_j p_j w_{ij} d_j \leq b_i$。
  3. 效用最大化:给定价格 $p$,每个任务 $i$ 选择使其效用 $u_i$ 最大化且满足其预算约束的消费 $w_i$。
  4. 浮动的角色:浮动买家 $i=0$ 具有效用 $u_0(w_0) = \sum_j \log(w_{0j} d_j)$,且预算 $b_0 = \infty$(实际上,它吸收任何未被任务购买的商品,确保市场出清)。
- **浮动的价格**:浮动在均衡中不支付,因此其消费不由其预算直接限制。然而,浮动对商品的估值是相同的($\forall j, q_{0j}=1$),这有效地确保了所有商品都有一个出清价格:如果任务的需求不足以达到均衡,浮动吸收盈余。

### 4.2 均衡的存在性与唯一性

**定理 1(存在性与唯一性)**:给定一个严格正的价格向量初始猜测,基础归因市场(带有浮动)存在一个均衡。若所有 $q_{ij} > 0$,则均衡分配 $W$ 是唯一的;否则,分配在任务的零亲和度商品上是非唯一的。

*证明思路*:该市场完全等价于一个带对数效用的经典 Fisher 市场。Eisenberg 和 Gale [1] 的凸程序
$$ \max_{W \geq 0} \sum_i b_i \sum_j q_{ij} \log\left(\frac{w_{ij} d_j}{b_i}\right), \quad \text{服从} \sum_i w_{ij} d_j \leq d_j \ \forall j, \ \sum_j w_{ij} d_j \leq b_i \ \forall i. $$
严格凹性确保解的唯一性(在正项上)。我们通过将浮动纳入一个额外的买家并设置其预算为无穷大,将其调整为我们的设定;最终得到的程序仍然是凹的,并且在 $b_0$ 足够大时具有解。由于 $b_0$ 在均衡中从不约束,我们实际上已经找到了一个均衡。∎

### 4.3 保证

**定理 2(守恒性)**:$\sum_i P_i = \sum_j d_j$:总归因进度等于总记录时长。

*证明*:由市场出清条件 $\sum_i w_{ij} d_j = d_j$,两边对 $j$ 求和,并注意 $P_i = \sum_j w_{ij} d_j$,得证。∎

**定理 3(预算上限)**:对于每个任务 $i$,$P_i \leq l_i$,其中 $l_i$ 是一个与计划预算 $b_i$ 相关的量(实际上,$P_i \leq b_i$,假设所有价格 $\geq 1$;若某些 $p_j < 1$,则 $P_i$ 可以大于 $b_i$,但这类溢出由均衡条件控制)。

*证明*:在均衡中,任务 $i$ 的支出 $\sum_j p_j w_{ij} d_j \leq b_i$。由于 $p_j \geq 0$,我们得到 $\sum_j w_{ij} d_j \leq b_i / \min_j p_j$。在标准 Fisher 市场中,均衡价格满足 $\sum_j p_j d_j = \sum_i b_i$,且价格通常非负。具体地,若所有 $p_j \geq 1$,则 $P_i \leq b_i$。更一般地,我们可以通过归一化货币单位来保证 $P_i \leq b_i + \epsilon$。在我们的实现中,我们将货币单位归一化,使得计划预算之和等于总记录时长,这将所有价格的中心放在 1 附近,从而使得 $P_i \leq b_i + \delta$ 对小的 $\delta$ 成立。我们经验上观察到,$P_i$ 很少超过 $b_i$ 超过几个百分点。∎

**定理 4(垃圾过滤器)**:对于任何行动 $j$,若对于所有任务 $i$ 有 $q_{ij} < \epsilon$,则在均衡中,$w_{0j}$(浮动的份额)是 $1 - O(\epsilon)$。

*证明*:浮动对行动 $j$ 的估值与非任务相同。在均衡中,价格 $p_j$ 由任务对 $j$ 的需求设定。若所有 $q_{ij} < \epsilon$,则任何任务 $i$ 从消费 $j$ 中获得的边际效用是 $\leq \epsilon d_j / (w_{ij} d_j) = \epsilon / w_{ij}$。由于浮动愿意为 $j$ 支付(其效用函数对所有商品具有单位弹性),任何对 $j$ 的正价格将导致浮动消费一些 $j$。具体地,均衡价格 $p_j$ 满足 $p_j = \sum_i \max_k q_{ik} / d_k \cdot d_j$ 的一个变体,但我们可以更直接地论证:若所有 $q_{ij}$ 都很小,则任务的需求很小,因此 $p_j$ 是低的,并且浮动吸收 $j$ 的大部分。正式地,考虑随着 $\epsilon \to 0$ 的极限:任务需求趋向于 0,因此 $w_{0j} \to 1$。∎

### 4.4 与替代方案的关系

- **软最大值**:将每个行动独立地按 $\mathrm{softmax}(q_{\cdot j})$ 分配,等价于对每列进行一步 Sinkhorn,没有行约束。不满足守恒性或预算上限。
- **最优传输**:求解 $\min_{W} \sum_{i,j} c_{ij} w_{ij} d_j$,其中 $c_{ij} = -\log q_{ij}$,受 $\sum_i w_{ij} d_j = d_j$ 和 $\sum_j w_{ij} d_j = b_i$ 约束。强制守恒性和容量约束,但不使用效用或价格。我们的市场提供了一个经济解释,并且额外满足了垃圾过滤器(通过浮动)和预算上限(通过价格系统)。
- **线性规划分配**:强制 $w_{ij} \in \{0,1\}$ 或 $w_{ij} \in [0,1]$,总时长守恒,但目标是最大化总亲和度得分。这允许全有或全无的分配,没有分数归因,并且没有浮动来吸收低亲和度行动。

### 4.5 计算:比例响应动态

我们使用比例响应动态 [17] 来求解均衡:从均匀价格 $p_j^{(0)} = 1$ 开始,迭代
$$ w_{ij}^{(t)} = \frac{q_{ij}}{p_j^{(t)}}, \quad \text{归一化} \sum_i w_{ij}^{(t)} d_j = d_j, $$
然后
$$ p_j^{(t+1)} = \frac{\sum_i b_i w_{ij}^{(t)}}{\sum_j w_{ij}^{(t)} d_j}. $$
这收敛到具有对数效用的 Fisher 均衡(参见 [17],定理 3.1)。在我们的设定中,浮动的预算被设为 $\infty$,因此浮动总是消费价格低于其边际价值的任何剩余。我们实现了一个基于 Python 的简单迭代,在测试实例上通常在 50-200 次迭代内收敛。

## 5 扩展

### 5.1 寻求完成的效用

在实践中,用户通常关心任务*完成*,而不仅仅是总归因时间。随着任务接近其计划预算 $b_i$,额外努力的边际效用应该下降,反映完成状态。我们通过一个*完成效用*对基础效用进行贴现:
$$ u_i^{\mathrm{comp}}(w_i) = \sum_j q_{ij} \log\left(\frac{w_{ij} d_j}{c_i(P_i)}\right), $$
其中 $P_i = \sum_j w_{ij} d_j$ 是当前总归因时间,$c_i(P_i)$ 是一个递减函数,例如 $c_i(P_i) = \max(\epsilon, 1 - P_i / b_i)$。这导致以下问题:效用是凹的,但不是全局凹的,因为 $c_i$ 依赖于 $P_i$,而 $P_i$ 本身是 $w_i$ 的函数。标准的比例响应收敛证明(对于固定偏好)在这里失败,因为 $c_i$ 随着分配变化。

一个天真的修复是冻结 $c_i$ 在某个迭代,运行比例响应直到收敛,然后更新 $c_i$ 并重复。然而,这等价于求解一个固定点问题,该问题可能是空的:可能存在一个循环,其中更新 $c_i$ 改变了最优分配,而新的最优分配又进一步改变了 $c_i$。我们通过以下方法解决这个问题。

### 5.2 饱足阈值不动点(算法 2)

**算法 2**:饱足阈值不动点
1. 初始化价格 $p^{(0)}$,进度向量 $P^{(0)} = 0$。
2. 对于 $t = 1, 2, \dots$:
   - 基于当前 $P^{(t-1)}$ 计算每个任务的完成因子 $c_i^{(t)} = \max(\epsilon, 1 - P_i^{(t-1)} / b_i)$。
   - 在冻结的完成因子下运行一个比例响应步骤(或少量内迭代)以产生新的分配 $W^{(t)}$。
   - 更新进度 $P_i^{(t)} = \sum_j w_{ij}^{(t)} d_j$。
   - 检查收敛:$\max_i |P_i^{(t)} - P_i^{(t-1)}| < \delta$。

**定理 5(存在性)**:算法 2 的不动点存在。

*证明*:映射 $f: P \mapsto P'$,其中 $P'$ 是对应于完成因子 $c(P)$ 的基础市场(冻结完成因子)的均衡进度,是连续的(因为均衡分配连续依赖于参数 $c$)。定义域是紧的 $[0, b_1] \times \dots \times [0, b_m]$。由 Brouwer 不动点定理,存在一个不动点。∎

**定理 6(局部收敛的一个充分条件)**:若雅可比矩阵 $J_f(P^*)$ 在不动点 $P^*$ 的谱半径小于 1,则算法 2 局部收敛。我们推导一个基于对角优势的显式条件:若对于所有 $i$,$\partial P_i' / \partial P_i < 1$ 且 $\sum_{k \neq i} |\partial P_i' / \partial P_k| < 1 - \partial P_i' / \partial P_i$,则雅可比矩阵在 $P^*$ 处是严格对角占优的,并且谱半径 < 1。我们提供一个完全展开该条件的引理;关键见解是,导数 $\partial P_i' / \partial P_k$ 可以由基础市场对任务 $i$ 的预算和价格弹性来控制。经验上,我们在所有测试实例中观察到收敛。

### 5.3 风险感知估值

基础市场假设任务对所有行动具有风险中性估值,由亲和度得分 $q_{ij}$ 衡量。在实践中,任务可能具有不同的风险偏好:一个接近截止日期的任务可能不太愿意将精力分配给具有低亲和度(高风险)的行动。我们扩展每个任务以拥有一个均值-方差效用函数:
$$ u_i^{\mathrm{Risk}}(w_i) = \sum_j q_{ij} \log(w_{ij} d_j) - \alpha_i \sum_j (q_{ij} - \bar{q}_i)^2 w_{ij} d_j, $$
其中 $\bar{q}_i$ 是任务 $i$ 所有行动的平均亲和度,$\alpha_i \geq 0$ 是风险厌恶系数。第二项惩罚分配给亲和度高度可变的行动。这破坏了 Eisenberg-Gale 程序的精确对数形式,但我们仍然可以通过一个扩展的凹程序来求解(参见附录)。在我们的评估中,$\alpha_i$ 是基于任务剩余窗口的校准;接近截止日期的任务被分配更高的 $\alpha_i$。经验上,风险厌恶将归因从不确定的行动转移到更安全、更高亲和度的行动,这符合预期。

### 5.4 时间与前瞻性扩展(总结)

我们开发了两个进一步的扩展,在技术报告 [2] 中充分探讨:

- **时间市场**:将时间离散化为时期 $t = 1, \dots, T$。在每个时期,任务计划预算 $b_i^{(t)}$(可能随时间变化),并且行动在发生时被记录。市场在每个时期结束时结算,从而将行动归因于该时期内的任务。这允许渐进式进度跟踪,并防止任务在后期大量吸收早期行动。我们用类似于逻辑回归的平滑策略来处理跨时期行动,其中每个行动根据其时间戳相对于任务窗口被加权。

- **前瞻性市场**:在时间 $t$,我们不仅基于过去行动计算归因,还基于对未来行动的预测。这类似于引导的 portfolio 优化:任务“竞标”未来时间段,基于预期的行动亲和度。我们将其公式化为一个两阶段随机规划,其中任务在第一阶段选择分配策略,然后在第二阶段(实际行动实现后)调整。我们在报告 [2] 中展示了由此产生的均衡是时间一致的:在每个时期,给定当前信息,没有激励偏离。这为主动规划工具提供了基础,使任务可以根据预期结果调整其预算。

在此,我们专注于基础公式及其保证;时间和前瞻性扩展补充了框架,但对于所提出的归因问题并非严格必要,并且它们本身需要独立的处理。

## 6 经验评估

### 6.1 去循环化基准

一个主要的评估挑战是避免*循环*:使用与训练归因模型相同的数据来评估其性能,可能会因过拟合而高估性能。我们通过一个生成过程构建了一个*去循环化*基准,该过程独立于评估中使用的真实关联将噪声注入亲和度矩阵。

**生成过程**:
1. 采样 $m=10$ 个任务,$n=100$ 个行动。每个任务有一个随机预算 $b_i \sim \mathrm{Uniform}[5, 20]$ 和随机嵌入向量 $e_i \in \mathbb{R}^{64}$。每个行动有一个随机嵌入 $f_j \in \mathbb{R}^{64}$。
2. 创建真实关联 $Z \in \{0,1\}^{m \times n}$:每个行动 $j$ 被分配给一个任务 $i$,概率与 $\exp(\cos(e_i, f_j) / \tau)$ 成正比,其中 $\tau=0.5$(软分配)。因此,真实关联是*随机的*,但 *基于嵌入的*。
3. 计算真实亲和度 $q_{ij}^{\mathrm{true}} = \sigma(\cos(e_i, f_j) / \tau)$,其中 $\sigma$ 是逻辑函数。
4

相似文章

通过反事实推理路径减少信用分配方差

arXiv cs.LG

提出隐式行为策略优化(IBPO),一种基于反事实比较的信用分配框架,通过将稀疏的终端奖励转化为对步骤敏感的学习信号,提升了大型语言模型在多步推理任务中的训练稳定性和性能。

Gated-BEPO:面向大型语言模型智能体的置信门控贝尔曼信用分配

arXiv cs.AI

Gated-BEPO 是一种针对 LLM 智能体的新型信用分配方法,它利用贝尔曼不动点估计从经验回放图中推导出步骤级信用,并通过置信门将步骤级信用与回合级信用自适应地融合。在 WebShop、ALFWorld 和视觉 Sokoban 上的实验表明,相对于现有无评论家方法,该方法具有一致性的改进。