Nous：试图提取并注入预测市场行为背后的认知

# 从预测市场行为中提取并注入认知特征的尝试 来源: https://arxiv.org/html/2606.13038 ###### 摘要 随着大型语言模型 \(LLM\) 智能体在预测市场和集体决策中 proliferate，它们面临着*认知同质化*的风险：基于共享基础模型构建的智能体会产生相关的预测，最近的测量发现独立开发的前沿模型的误差相关性约为 r≈0.77r≈0.77。我们研究是否可以从行为中恢复人类的认知多样性，并将其迁移到 LLM 智能体。Nous 从真实的 Polymarket 交易活动中提取了一个结构化的八维行为画像，并通过提示将其注入到智能体中。我们的核心发现是，该管道的两个环节存在分离。提取部分部分有效：在 100 个钱包中，14 个参数中有 8 个在时间上稳定（分半 ICC≥0.5≥0.5，bootstrap 置信区间下限 >0.3>0.3；逆向评分达到 ICC≈0.9≈0.9）；钱包从其画像中被识别的概率远高于随机水平（top-1 检索 17-22% vs. 1% 随机基线）；四个预设维度中有两个与样本外的未来实现利润存在秩相关，尽管这些相关性在控制行为混淆因素后不再成立。提示层面的注入无法可测量地传递这些特征：在语义嵌入指标上，结构化提示在任何模型上均未显示出相对于等长对照组的显著优势，且其诱导的多样性既未降低集成误差相关性，也未改善 Brier 分数——这一零结果在探索性检查中持续存在，包括采样温度 (0.0–1.0)、更多样化的合成画像群体以及模型不确定的问题子集。对提示本身的测量定位了模型之前的压缩阶段：结构到叙述的转换器发出的提示在语义上几乎是均匀的，其离散程度并不随画像离散度的增加而增加。因此，我们将 Nous 定位为衡量认知同质化问题以及提示层面补救措施的局限性，从而推动更深入的、提示之下的注入方法（参数高效微调、激活引导）。我们在 https://github.com/WillChienT/nous-paper 发布了评估代码、提取的画像、生成的提示和模型输出；拟合到真实用户数据的提取参数保持灰盒状态。 关键词: 认知多样性, 预测市场, LLM 智能体, 行为提取, 认知同质化, 集成预测 ## 1 引言 ### 1.1 2026 年的预测格局 AI 系统能否达到人类预测准确性的问题，在过去两年中已从开放推测转变为既定的经验事实。Halawi 等人 [8 (https://arxiv.org/html/2606.13038#bib.bib8)] 证明了一个结构化的研究-预测流水线——结合检索增强语言模型与多步骤推理——能够在多样化的真实世界二元问题基准上接近人类预测群体的整体准确性。这一结果重新定义了讨论的焦点：并非 LLM 能否进行预测，而是一个有原则的系统架构能将整体性能推到多接近人类群体的前沿。Mantic 系统在 2026 年进一步扩展了这一成果，将 GRPO 风格的强化学习（以 Brier 分数作为奖励信号）应用于一个 1200 亿参数的开源基础模型：该系统的 Metaculus 基线分数从 38.6 提升至 45.8，并在 Metaculus 杯中于 2025 年夏季排名约 550 名参赛者中的第 8 位（首个进入大规模预测竞赛前十的 AI 系统），2025 年秋季排名第 4 位 [13 (https://arxiv.org/html/2606.13038#bib.bib13)]。这一结果证明了该方法的成熟度：可验证预测问题上的强化学习能够产生与专业人类预测者竞争的预测行为。同时期的基准研究工作指出了剩余差距所在——时间对齐不精确、对模棱两可证据的解读过于保守、在最终结果揭晓前最后几小时更新缓慢 [22 (https://arxiv.org/html/2606.13038#bib.bib22)]；第 2.1 节 (https://arxiv.org/html/2606.13038#S2.SS1) 将详细回顾这些工作。这些线索共同标志着一个有意义的转折点。近期系统已使单智能体预测准确性成为一个成熟且快速进步的目标；相比之下，群体层面的误差依赖性仍然相对未被充分探索。我们研究的问题是，当 AI 系统并非作为单个智能体，而是作为群体运行时会发生什么。 ### 1.2 认知同质化：下一个结构性差距 当许多 AI 智能体被部署在同一个信息环境中时，个体层面的准确性并不能保证集体层面的质量。基于相同基础模型构建的智能体会产生高度相关的推理轨迹：当一个智能体对某个事件预测错误时，基于相同权重训练的智能体往往会通过相同的结构性失败得出相同的错误结论。这种相关性并非实现不佳的巧合，而是共享预训练（在重叠语料库上，具有一致的对齐微调目标）的结果。一千个基于 GPT 的智能体可能仅代表少数几条真正独立的推理路径。最近的测量使这一点具体化：在 568 个已解决问题上，三个独立开发的前沿模型（GPT-4o、Claude、Gemini）的预测误差相关性为 r≈0.77–0.78 [27 (https://arxiv.org/html/2606.13038#bib.bib27)]，使得一个表面上多样化的集成缺乏真正的独立性——这是认知同质化的定量特征。有证据进一步强化了这一模式：默认的 LLM 预测者共享系统性的认知偏差 [33 (https://arxiv.org/html/2606.13038#bib.bib33)]，并且未经调整的它们行为上与人类交易者截然不同，而预测市场正是为聚合人类交易者的多样性而构建的 [9 (https://arxiv.org/html/2606.13038#bib.bib9)]。Schoenegger 等人 [25 (https://arxiv.org/html/2606.13038#bib.bib25)] 在一个多 LLM 预测集成中对此进行了经验性记录。该集成利用 GPT-4、Claude、Gemini 及其他前沿模型，在准确性上优于任何单个模型——这与经典结果一致，即多样化的群体在适当条件下优于高能力个体 [10 (https://arxiv.org/html/2606.13038#bib.bib10)]。但推动这些改进的多样性来自模型家族间的架构差异，而非智能体在信息关注、证据加权或风险感知方面的差异。在单个模型家族内部，智能体的误差仍然高度相关。这一点在预测市场中尤为重要。Surowiecki [28 (https://arxiv.org/html/2606.13038#bib.bib28)] 指出，集体智慧依赖于四个条件：观点多样性、判断独立性、去中心化以及有效的聚合机制。市场通过价格发现满足了聚合条件。人类参与在历史上通过不同人群在信息关注、风险感知和根据新证据更新信念方面的自然差异，近似满足了前三个条件。当 AI 系统取代或补充人类参与者时，所有三个赋能条件同时退化：多样性收窄为少数几个在重叠语料库上训练的基础模型；独立性因共享权重导致对相同输入产生相关处理而受损；去中心化变得肤浅，因为许多智能体的认知来源可追溯至少数训练管道。缺失的并不是更多模型，而是更多*认知结构*的变异。Schoenegger 等人 [25 (https://arxiv.org/html/2606.13038#bib.bib25)] 的集成方法使用不同的模型家族作为不同推理风格的代理；当操作者希望从一个高质量模型中部署许多智能体时，这种方法无法扩展。我们提出的问题是，是否可以通过注入机制而非架构多样性来诱导结构化的认知异质性——以及由此产生的多样性是否足以减少作为认知同质化实际后果的相关失败模式。 ### 1.3 贡献 我们提出 Nous，一个从人类预测市场活动中提取结构化行为代理，并测试其能否注入 LLM 智能体以诱导认知异质性的框架。我们的贡献围绕三个可证伪的主张组织，每个主张对应一个实验测试，并且它们形成了一个分离：源信号部分可恢复，但提示层面的桥梁未能将其转化为有用的智能体多样性。 1. 1. 可恢复性（主要结果）：一个结构化的八维模式从真实的预测市场行为中恢复了行为代理维度的一个可靠*子集*。在 N=100 个 Polymarket 钱包上，14 个参数中有 8 个在时间上是稳定的（分半 ICC≥0.5，bootstrap 置信区间下限 >0.3），其中以 independence.contrarian_score 最高（ICC≈0.9）；钱包从它们的画像中被识别的概率远高于随机水平（top-1 检索 17-22% vs. 1% 随机基线）；四个预设维度中有两个预测了样本外的已实现交易利润——一旦消除了画像与盈亏之间的同源循环（尽管这些相关性在控制行为混淆因素后不再成立）。风险感知参数和清晰的个体轨迹可分性未达到阈值——这些我们报告而非回避的结果（第 4 节 (https://arxiv.org/html/2606.13038#S4))。 2. 2. 可注入性（在适当指标下为负）：注入的人物设定改变了智能体相对于无指令对照的输出，但我们无法确定结构化内容传递的画像*超出了提示长度*。在语义嵌入指标上，没有模型显示出结构化提示相对于等长填充物的统计显著优势；仅在词汇（三元组）指标上出现有利解读，且从未达到显著性；而声称模型条件于正确人物设定，或效应定位于特定提示内容的说法，均未得到支持（第 5 节 (https://arxiv.org/html/2606.13038#S5))。 3. 3. 有效性（负）：注入所产生的输出多样性*并未*改善集体预测。认知注入略微提高了集成输出多样性（纯认知 Jensen-Shannon 散度 +0.0035, p=0.010，由安慰剂对照提示长度），但并未降低集成误差相关性或改善 Brier 分数 (p≈0.95)，这一零结果在探索性检查中持续存在，包括采样温度 0.0-1.0、更多样化的合成群体以及模型不确定的问题子集（第 6 节 (https://arxiv.org/html/2606.13038#S6))。证据的三个特征定位了瓶颈。结构化提示相对于等长对照组未显示显著优势；一个故意更多样化的画像群体产生的输出差异并不比真实群体更多；直接测量转换器的输出揭示了原因——它发出的人物提示在语义上几乎是均匀的，并且其离散度在输入画像离散度增加时并未增加（第 6.2 节 (https://arxiv.org/html/2606.13038#S6.SS2))。扩散输入并不会扩散提示，更不用说输出了。这将注入*通道*——提示及其结构到叙述的转换器——定位为限制因素，而非提取的信号或（根据现有证据）基础模型的能力。因此，我们将 Nous 作为衡量提示层面认知注入的局限性，并推动更深入的、提示之下的方法，而非一个解决认知同质化的系统。 本文其余部分组织如下。第 2 节 (https://arxiv.org/html/2606.13038#S2) 综述了 LLM 预测、多智能体集成、人物设定研究和行为经济学方面的相关工作。第 3 节 (https://arxiv.org/html/2606.13038#S3) 定义了 Nous 模式及提取-注入架构。第 4、5 和 6 节 (https://arxiv.org/html/2606.13038#S4) (https://arxiv.org/html/2606.13038#S5) (https://arxiv.org/html/2606.13038#S6) 依次呈现三个实验。第 7 节 (https://arxiv.org/html/2606.13038#S7) 讨论启示与局限。第 8 节 (https://arxiv.org/html/2606.13038#S8) 总结。 ## 2 相关工作 ### 2.1 LLM 预测：从能力问题到结构问题 基于 LLM 的预测研究已迅速从询问语言模型能否预测世界事件，转向描述其表现良好或欠佳的具体条件。Halawi 等人 [8 (https://arxiv.org/html/2606.13038#bib.bib8)] 建立了第一个大规模经验基线：一个将检索增强研究与结构化概率推理相结合的两阶段流水线，能够在多样化的真实世界二元问题基准上接近人类预测群体的整体准确性。他们的关键发现是架构性的而非模型特定的——研究阶段（在产生校准估计的预测阶段之前收集和综合相关证据）占据了相对于直接查询而言大部分性能提升的来源。Mantic 系统在 2026 年通过加入强化学习进一步推进了这一点。从一个 1200 亿参数的开源基础模型开始，该团队应用了 GRPO 风格的策略梯度强化学习，以 Brier 分数作为奖励信号，在约一万个二元预测问题上进行训练，采用两阶段架构（研究阶段后接混合模型预测阶段）。Metaculus 基线分数从 38.6 提升至 45.8——略高于 Gemini 3 Pro。在 Metaculus 杯中，该系统于 2025 年夏季在约 550 名参赛者中排名第 8（首个进入大规模预测竞赛前十的 AI 系统），2025 年秋季排名第 4 [13 (https://arxiv.org/html/2606.13038#bib.bib13)]。Mantic 团队随后的集成分析发现，与集成的聚合分布具有最高 Jensen-Shannon 散度的模型组件最不可替代，这表明预测行为中的异质性——而不仅仅是准确性——决定了边际贡献对集成质量的价值。Prophet Arena 基准提供了 LLM 预测仍落后之处系统性的测量。三个差距持续出现：当结果标准涉及确切日期时，模型在事件时间上不精确；在解释模糊的源证据时，比人类市场参与者更保守；在问题结果揭晓前的最后几小时，当人类市场根据短期信号积极更新时，模型反应迟缓 [22 (https://arxiv.org/html/2606.13038#bib.bib22)]。一个不断增长的基准测试环境对这些发现进行了定位：Zhang 等人 [37 (https://arxiv.org/html/2606.13038#bib.bib37)] 评估了跨问题类型的 LLM 预测者，而 Cheng 等人 [3 (https://arxiv.org/html/2606.13038#bib.bib3)] 汇编了一个大型多模态 Polymarket 基准（市场、订单簿数据和新闻），这与我们自己在第 6.1 节 (https://arxiv.org/html/2606.13038#S6.SS1) 中使用的评估集类型相同。一个补充性的观察激励了我们的整个方法：Henning 等人 [9 (https://arxiv.org/html/2606.13038#bib.bib9)] 发现未经调整的 LLM 比人类交易者理性得多，并得出结论认为它们*不应*被用于模仿人类行为数据——而这正是我们预设的目标。