一个用于单智能体和多智能体人类-人工智能好奇心生态系统的玩具框架

# 一个用于单智能体和多智能体人机好奇心生态系统的玩具框架
来源：https://arxiv.org/html/2607.06214
Ilya E. Monosov Solomon H. Snyder 神经科学系，约翰霍普金斯大学，巴尔的摩，马里兰州，美国 生物医学工程系、电气与计算机工程系、精神病学系，约翰霍普金斯大学，巴尔的摩，马里兰州，美国 Zanvyl Krieger 心智/大脑研究所，约翰霍普金斯大学，巴尔的摩，马里兰州，美国 数据科学与人工智能研究所及 Kavli 神经科学发现研究所，约翰霍普金斯大学，巴尔的摩，马里兰州，美国 [email protected]

###### 摘要

本文提出了一个将好奇心视为生态系统的玩具框架。首先，它认为单一智能体的探究策略（智能体如何、何时以及为何提出一个问题）取决于该智能体如何权衡即时的不确定性降低、成本、延迟回报以及保持问题开放的价值。该框架中的一个关键概念是，这些决策相关项的权重会随经验而改变。例如，一段时期内廉价且能快速回答的问题，可能会在短时间尺度上改变探究成本，并在长时间尺度上改变智能体倾向于回答哪类问题。其次，这些想法被扩展到多个智能体共同探索一个共享知识景观的情景，该框架在此追踪探究量、主题多样性、前沿导向的探究、冗余性和可重用知识。最终，这是一个用于研究好奇心生态学以及未来设计面向发现的多智能体人工智能系统的概念性玩具框架。它作为一篇目前正在《Trends in Neurosciences》期刊审稿中的论文的配套文章。

## 亮点

- •提出一个问题是在即时不确定性降低、努力、延迟回报和保持问题开放的价值等竞争性价值之间做出的选择。
- •这些价值的权重可能会改变或漂移。反复接触快速廉价答案，可能会逐渐促使快速解决变得更具吸引力，而长期探究则变得不那么有吸引力。
- •该框架有助于生成未来可应用于共享和探索知识景观的人群或人工智能代理的理论。随着时间的推移，它也可以为多智能体人工智能的发展提供参考。
- •这项工作支持未来关于探究如何变得适应性和生成性，或适应不良的研究。

## 1 引言

我们为什么会提出某些问题而避免提出其他问题？一个问题可能诱惑我们，因为答案会消除大量不确定性，因为答案可能会带来可观的回报（即使只是后来才得到），或者因为追求它很容易，或者仅仅因为我们周围的人都在问。好奇心和信息寻求模型表明，我们对答案的主观价值会随着我们有多不确定以及我们认为答案能解决多少不确定性而上升或下降（综述见 Monosov，2024 (https://arxiv.org/html/2607.06214#bib.bib24)；Bromberg-Martin and Monosov，2020 (https://arxiv.org/html/2607.06214#bib.bib6)）。这种信息的主观价值可能会在瞬间发生变化。

环境的持久变化可以改变我们偏好的表达方式，或者改变偏好本身 (Tversky and Simonson，1993 (https://arxiv.org/html/2607.06214#bib.bib36))。一种受神经生物学启发的形式化方法是假设大脑对问题的不同特征或属性（例如，它将减少的不确定性量、提问时间、成本、延迟回报等）有权重，并允许权重根据情境和经验系统地移动、漂移或更新。那么，一个人已经提出的问题（他们的历史）、可用工具的成本、同龄人提出的问题以及周围环境赋予答案的价值，会塑造出哪些问题感觉值得下一步去追求。同一个问题在一个生态或对一个智能体而言可能显得微不足道，而在另一个生态中（对同一个或别的智能体）却显得很有价值。

本文试图通过连接三个通常被分开处理的过程来考虑这种复杂性：单个智能体选择追求或不追求某个问题的过程，该智能体探究偏好的漂移（作为自身经验和情境的函数），以及许多智能体建立共享知识存量并集体表达好奇心的过程。由此产生的玩具框架有助于考虑好奇心生态系统的适应性，以及未来设计自适应多智能体人工智能系统的工作。

## 2 单个智能体的探究

考虑单个智能体 \(i\) 在时间 \(t\) 决定是否追求问题 \(q\)。该智能体对该问题的私人价值为

\[
V_i(q,t) = \psi_i(t) \mathbb{E}_{i,t}[I_i(q,t)] - \lambda_i(t) \mathbb{E}_{i,t}[C_i(q,t)] + \tau_i(t) \mathbb{E}_{i,t}[L_i(q,t)] - \phi_i(t) \mathbb{E}_{i,t}[O_i(q,t)].
\]
(1)

这里 \(I_i\) 是即时降低不确定性的价值。\(C_i\) 是提问的成本（例如，努力、时间、注意力）。\(L_i\) 是长期回报，意味着答案稍后可能有用。\(O_i\) 是暂时不回答的价值。这是保持问题开放的价值，要么为了灵活性 (McDonald and Siegel，1986 (https://arxiv.org/html/2607.06214#bib.bib23)；Dixit and Pindyck，1994 (https://arxiv.org/html/2607.06214#bib.bib12))，要么因为智能体主动不希望某些信息 (Golman et al.，2017 (https://arxiv.org/html/2607.06214#bib.bib17)；Gigerenzer and Garcia-Retamero，2017 (https://arxiv.org/html/2607.06214#bib.bib16))。这进一步受到神经数据的启发，这些数据表明关于奖励和惩罚的信息可能被不同地估价，信息寻求和信息回避有部分不同的回路 (Jezzini et al.，2021 (https://arxiv.org/html/2607.06214#bib.bib19)；Charpentier et al.，2018 (https://arxiv.org/html/2607.06214#bib.bib9))。\(O_i\) 旨在捕捉即使当一个问题可能具有诱惑力时，智能体也会拒绝立即解决 \(q\) 的情况。科学家可能有意识地保持一个有希望的研究假设开放，以保持进行更信息丰富实验的灵活性；或者一个人可能宁愿不知道某个医学或基因检测结果。在这些例子中，保持问题开放与长期回报 \(L_i\) 是不同的，甚至可能与之相反。

权重 \(\theta_i(t) = (\psi_i(t), \lambda_i(t), \tau_i(t), \phi_i(t))\) 反映了智能体对每个项的关心程度，并定义了其 *好奇心策略*。所有四项都写为时间 \(t\) 的期望值（\(\mathbb{E}_{i,t}[\cdot]\)），即在提问 \(q\) 之前。查找昨晚谁赢了国际象棋锦标赛主要由 \(I_i\) 驱动：它期望能立即解决不确定性，而且几乎不花任何成本。解决一个困难的家庭作业问题现在成本很高，所以 \(C_i\) 很高，但延迟回报 \(L_i\) 也可能很高。

\(I_i\) 和 \(L_i\) 由必须解决多少问题才能使它们的价值实现来定义。\(I_i\) 是单独解决 \(q\) 的短视价值，就好像没有进一步的问题被提出一样；只要这个价值仅依赖于 \(q\)，即使它在遥远的未来实现，仍然算作 \(I_i\)。相反，\(L_i\) 是需要解决由 \(q\) 开启的后续问题的价值。长期项可以分为私人回报和社会回报：

\[
L_i(q,t) = L_i^{\mathrm{own}}(q,t) + \kappa_i L_i^{\mathrm{social}}(q,t).
\]

第一个组成部分是智能体自身收集的未来收益。第二个组成部分是溢出到其他智能体的收益，由 \(\kappa_i \in [0,1]\) 贴现。一个自利的智能体有 \(\kappa_i = 0\)；一个关心对他人下游收益的智能体有 \(\kappa_i > 0\)。

问题的第二个重要属性是其生成性 \(g_i(q,t)\)：与智能体已知的知识相比，解决 \(q\) 所打开的新知识鸿沟的数量。这是一个对 \(q\) 打开的知识鸿沟的粗略计数（\(q\) 通过被回答而关闭的那个知识鸿沟不会被扣除，所以即使一个问题只打开一个新鸿沟，也有 \(g_i > 0\)）。这一定义的简单直觉是学习可以让一个人意识到他们不知道什么 (Loewenstein，1994 (https://arxiv.org/html/2607.06214#bib.bib21)；Murayama，2022 (https://arxiv.org/html/2607.06214#bib.bib25))。例如，一个琐事问题通常关闭它自己的知识鸿沟，并且很少为未来的不确定性降低创造机会，所以 \(g_i \approx 0\)。一个嵌入知识景观稀疏区域的问题可以做相反的事情。例如，新的科学数据可以回答一个即时问题并开启一个全新的研究项目。

对于智能体自身的回报，一个简单的指定是

\[
L_i^{\mathrm{own}}(q,t) = \ell_0 + \rho_i \cdot g_i(q,t),
\]

其中 \(\ell_0\) 是一个跨问题恒定的基线回报，\(\rho_i\) 将新打开的知识鸿沟转化为预期的未来收益。

注意，这与方程 1 (https://arxiv.org/html/2607.06214#S2.E1) 中的 \(O_i\) 不同。\(O_i\) 是现在不关闭一个问题的价值。相比之下，\(g_i\) 计数一个问题被关闭时出现的新问题。

还要注意，一个廉价且 \(I_i\) 高的问题可能在 \(g_i\) 上接近于零。这样的问题现在回答起来感觉不错（由于大的不确定性降低），但不会为未来创造更多不确定性降低或学习的机会。一个前沿问题（即困难但可能产生发现的问题）可能当下不那么令人满意，且追求起来成本更高，但 \(g_i\) 高，因此 \(L_i\) 也高。选择哪一个取决于对即时解决和长期回报的相对权重，特别是 \(\psi_i\) 和 \(\tau_i\)。

社会组成部分 \(L_i^{\mathrm{social}}\) 可以用相同的方式指定，用群体代替个体。它取决于问题的 *种群生成性* \(g_s(q,t)\)：与群体已知的知识（而不是单个智能体的知识）相比，它打开的新知识鸿沟的数量（在第 5 节 (https://arxiv.org/html/2607.06214#S5) 中处理）。有两种指定方式。在微观层面，社会回报是 \(i\) 对 \(q\) 的解决为其他人创造的溢出效应，

\[
L_i^{\mathrm{social}}(q,t) = \sum_{j \neq i} \Delta L_j^{\mathrm{own}}(q,t),
\]

其中 \(\Delta L_j^{\mathrm{own}}(q,t)\) 是 \(i\) 的答案赋予智能体 \(j\) 的长期自身回报。但这需要知道每一对之间的溢出效应。在宏观层面，当这些成对项无法观测时，同样的概念通过种群生成性来概括，

\[
L_i^{\mathrm{social}}(q,t) = \ell_0^{\mathrm{soc}} + \rho_i^{\mathrm{soc}} \, g_s(q,t),
\]

其中 \(\rho_i^{\mathrm{soc}}\) 将群体层面打开的知识鸿沟转化为对他人的预期下游收益（\(\rho_i\) 的社会对应物，同样也是智能体特定的，因为智能体之间其答案传播的范围不同）。

智能体更有可能追求价值更高的问题。在框架中，这可以通过标准的追求概率来实现。令 \(P_i(q,t)\) 为智能体 \(i\) 在时间 \(t\) 追求 \(q\) 的概率，它随着 \(V_i(q,t)\) 在一个阈值规则、逻辑斯蒂规则或带有外部选项的 softmax（在选项集中包含一个固定的不追求替代方案，因此智能体也可以选择什么都不问）下上升。那么 \(P_i(q,t)\) 是每个问题的追求概率。一个智能体可以追求多个问题，或者不追求任何问题，总探究量 \(Q_t\) 可以自由升降。

## 3 偏好漂移

一个新工具或社会环境的变化可以通过改变项本身来改变方程 1 (https://arxiv.org/html/2607.06214#S2.E1)，特别是通过降低成本 \(C_i\)。然而，在更长的时间尺度上，重复的探究也可能改变权重本身。一个反复因快速答案而获得奖励的人可能逐渐变得偏向这类问题。

最近的探究由一个经验状态 \(X_i(t)\) 概括，它是智能体已解决的问题轮廓 \(x_i(t)\) 的平滑版本：

\[
x_i(t) = [\,\text{cost},\ \text{speed},\ \text{uncertainty reduction},\ \text{generativity},\ \text{reusability}\,]^\top.
\]

持久性 \(\gamma_X \in [0,1]\) 控制过去体验消褪的速度，受当前偏好依赖过去消费的经济模型启发 (Ryder and Heal，1973 (https://arxiv.org/html/2607.06214#bib.bib29)；Becker and Murphy，1988 (https://arxiv.org/html/2607.06214#bib.bib4))：

\[
X_i(t) = \gamma_X \, X_i(t-1) + (1-\gamma_X) \, x_i(t).
\]
(2)

如果没有解决问题，则设 \(X_i(t) = X_i(t-1)\)。智能体只从它实际追求和解决的问题中更新。问题选择塑造经验，然后经验反过来反馈到选择上。并且，权重通过一个漂移算子更新：

\[
\theta_i(t+1) = \theta_i(t) + \Delta\theta_i\big(X_i(t), M_t\big).
\]
(3)

这里 \(M_t\) 是周围的好奇心生态。它包括成本和工具景观、在人群中流通的问题和价值，以及可用的共享知识存量 \(S_t\)（第 4 节 (https://arxiv.org/html/2607.06214#S4)）。漂移项 \(\Delta\theta_i\) 描述了生态的特定区域如何推动权重 \((\psi_i, \lambda_i, \tau_i, \phi_i)\)，同时保持它们在其自然的非负范围内。一个好奇心机制是 \(X_i(t)\) 和 \(M_t\) 联合空间中的一个区域。例如，在廉价探究机制中，快速且低成本的解决方案很丰富。相同的经验历史 \(X_i(t)\) 在不同的生态下可能产生不同的效果。漂移的一种可行实现是强化学习。快速回答的问题可以作为小而频繁的主观奖励。在更长的时间尺度上，这样的奖励可能重塑指导探究的价值函数，例如通过估价回路的直接变化 (Sutton and Barto，2018 (https://arxiv.org/html/2607.06214#bib.bib35)；Schultz et al.，1997 (https://arxiv.org/html/2607.06214#bib.bib30))。

不同形式的 \(\Delta\theta_i\) 可能对未来模拟有用。一个例子是带有衰减的线性更新，

\[
\Delta\theta_i\big(X_i(t), M_t\big) = \varepsilon\,\big(W\,X_i(t) + w_M\,m(M_t) - \theta_i(t)\big),
\]
(4)

其中 \(\varepsilon > 0\) 是学习率，\(W\) 将经验概况 \(X_i(t)\) 映射到目标权重，\(m(M_t)\) 是生态的向量摘要，\(w_M\) 缩放其影响。每次更新后权重被剪辑为零以保持 \((\psi_i, \lambda_i, \tau_i, \phi_i)\) 非负。