// LLM 智能体中的记忆诅咒 // (收藏它) 长历史显然会降低智能体的表现，因为它们变得越来越追随历史且风险最小化。在 7 个 LLM 和 4 个社会困境博弈的 500 轮实验中，扩大可访问历史在 28 个模型 - 游戏组合中的 18 个中降低了合作。他们称之为记忆诅咒。对 378,000 条推理轨迹的词汇分析显示了其机制：智能体并非变得偏执，而是前瞻性意图被侵蚀。长历史将模型拉入对过去冒犯的推理，而非未来收益。仅在前瞻性轨迹上训练的 LoRA 适配器减轻了衰减，并零样本迁移到新游戏。记忆净化，保持提示长度固定但换入合成合作记录，恢复了合作，证明触发因素是内容而非长度。消融显式思维链通常减少崩溃，意味着深思熟虑主动放大了诅咒。论文：https://arxiv.org/abs/2605.08060 在我们的学院学习构建有效的 AI 智能体：https://academy.dair.ai

记忆诅咒：扩大的回忆如何侵蚀 LLM 智能体中的合作意图

来源：https://arxiv.org/html/2605.08060 Jiayuan Liu1,2,Tianqin Li∗1,Shiyi Du∗1,Xin Luo∗3,Haoxuan Zeng3,Emanuel Tewolde1,2,Tai Sing Lee1,Tonghan Wang4,Carl Kingsford1,Vincent Conitzer1,2 1 卡内基梅隆大学 2 合作 AI 基础实验室 (FOCAL) 3 密歇根大学 4 哈佛大学

{jiayuan4, tianqinl, shiyid}@cs.cmu.edu,{luosanj, zchx}@umich.edu,[email protected],[email protected],[email protected],[email protected],[email protected]

摘要

上下文窗口扩展通常被视为 LLM 的直接能力升级，但我们发现它在多智能体社会困境中系统性失败。在 7 个 LLM 和 4 个博弈的 500 轮实验中，扩大可访问历史在 28 个模型 - 游戏设置中的 18 个中降低了合作，我们将这种模式称为记忆诅咒。我们通过三项分析 isolating 了 underlying 机制。首先，对 378,000 条推理轨迹的词汇分析将这种崩溃与前瞻性意图的侵蚀而非偏执的上升联系起来。我们使用针对性微调作为认知探针来验证这一点：仅在前瞻性轨迹上训练的 LoRA 适配器减轻了衰减，并零样本迁移到不同的游戏。其次，记忆净化保持提示长度固定，同时用合成合作记录替换可见历史，这 substantially 恢复了合作，证明触发因素是记忆内容，而不仅仅是长度。最后，消融显式思维链推理通常减少崩溃，表明深思熟虑 paradoxically 放大了记忆诅咒。综上所述，这些结果将记忆重新构图为多智能体行为的主动决定因素：更长的回忆既可以 destabilize 也可以支持合作，取决于它所引发的推理模式。

1 引言

将大型语言模型 (LLMs) 集成到多智能体系统中，为模拟复杂的社会、经济和博弈论动态提供了强大的新基质(Park 等人，2023 (https://arxiv.org/html/2605.08060#bib.bib19); Xie 等人，2025 (https://arxiv.org/html/2605.08060#bib.bib20))。这些多智能体生态系统中的一个核心挑战是 navigating 社会困境（例如囚徒困境或信任博弈），其中个体短期理性与集体长期福利相冲突。历史上，经典博弈论文献依赖于广泛的互动历史， coupled with 无限 horizon，来解释 sustained 合作的数学可行性（例如，Folk 定理）(Fudenberg 和 Maskin，1986 (https://arxiv.org/html/2605.08060#bib.bib21))。

然而，这一经典假设与行为心理学的实证现实相矛盾。Ma 等人(2021 (https://arxiv.org/html/2605.08060#bib.bib26)) 表明，过长的记忆实际上会降低合作，因为人类受试者被历史噪音淹没并 succumb to 记仇，而不是建立信任。有趣的是，人类认知自然试图通过依赖过去事件的稀疏、压缩表示来减轻这种脆弱性，本质上使用“遗忘”作为机制来原谅和适应。相比之下，人工智能体处理密集的、逐字的历史记录，没有任何自然退化。这种记忆结构的差异为自主系统的部署提出了一个深刻的问题：扩大智能体的记忆是建立必要的信任，还是完美的历史账簿不可避免地注定系统要进行不宽容的报复？

在本文中，我们通过系统研究记忆长度如何影响多智能体 LLM 互动中的合作来解决这个问题。为了评估这一点，我们操纵智能体的推理能力和它们的被动记忆，通过改变历史长度 (HL) 设置来调整后者的 (HL) 设置 (图 1 (https://arxiv.org/html/2605.08060#S1.F1))。虽然大多数 prior 工作在非常短的 horizon 内评估重复游戏中的 LLM，通常不超过 10 轮(Akata 等人，2025 (https://arxiv.org/html/2605.08060#bib.bib13); Brookins 和 DeBacker，2023 (https://arxiv.org/html/2605.08060#bib.bib23); Li 和 Shirado，2025 (https://arxiv.org/html/2605.08060#bib.bib30))，但此类设置可能会 obscure 长互动历史的影响。因此，我们将环境扩展到 500 轮重复互动。

Refer to caption 图 1：两个具有共享记忆的 LLM 智能体之间重复社会困境互动的示意图。我们的结果揭示了两个不同的机制。在一些模型 - 游戏组合中，足够能力的模型通过正确理解游戏结构并推理互惠的长期后果来维持合作。它们的行为是前瞻性的，并与 Folk 定理(Fudenberg 和 Maskin，1986 (https://arxiv.org/html/2605.08060#bib.bib21)) 的逻辑一致。然而，在许多其他情况下，增加被动历史记忆反而破坏了长期合作，产生了一种反直觉的“记忆诅咒”。在这种机制下，智能体变得越来越追随历史和风险最小化，这与 Ma 等人(2021 (https://arxiv.org/html/2605.08060#bib.bib26)) 报告的人类行为模式非常相似。

综上所述，我们的主要贡献如下：

• • 对 LLM 智能体在长 horizon 重复社会困境中记忆的大规模实证研究。据我们所知，这是首次在此规模上对重复 LLM 社会困境中的互动记忆长度进行系统扫描。我们的评估跨越 7 个不同的 LLMs (\times) 4 个重复社会困境博弈（涉及 2 到 3 个玩家）(\times) 9 个历史长度设置 (\times) 3 个种子，其中每个互动由 500 个重复轮次组成，比 prior 评估长一个数量级(Akata 等人，2025 (https://arxiv.org/html/2605.08060#bib.bib13); Brookins 和 DeBacker，2023 (https://arxiv.org/html/2605.08060#bib.bib23); Li 和 Shirado，2025 (https://arxiv.org/html/2605.08060#bib.bib30))。连同我们的不对称长度记忆、记忆净化和前瞻性微调消融实验，完整研究产生了超过 378,000 条推理轨迹。我们在附录中提供了这些轨迹的样本，并将作为公共资源发布，用于研究智能体社会中的记忆 - 合作动态。
• • 回答更多记忆是帮助还是损害合作。我们直接测试了更长互动历史改善信任和协调的假设。相反，我们发现扩大的记忆通常通过使智能体 less 宽容和 more 防御来损害合作，同时也确定了更长记忆仍然支持稳定合作的设置。
• • 揭示记忆扩展下的不同行为机制。我们表明，扩大的记忆引发了 qualitatively 不同的合作机制：一些模型 - 游戏设置保持高度合作，而另一些则表现出“记忆诅咒”，其中更长的回忆促进了追随历史、防御性推理和合作崩溃。这表明记忆效应取决于模型能力、游戏结构和推理风格，而不仅仅是上下文长度。
• • 通过针对性微调测试前瞻性假设。受 Gandhi 等人(2025 (https://arxiv.org/html/2605.08060#bib.bib33)) 启发，我们使用 LoRA 干预，在前瞻性推理轨迹上微调 memory-cursed Mistral-7B 模型。这在 extended 历史长度下 substantially 减轻了合作衰减，而不损害一般任务能力（GSM8K, TriviaQA, HumanEval, 和 MBPP），并零样本迁移到未训练的游戏，提供了前瞻性推理可以减少记忆诅咒的干预证据。

2 相关工作

社会困境和重复游戏中的 LLM。Prior 工作表明，LLM 在重复互动中的合作是 fragile 且高度路径依赖的。Akata 等人(2025 (https://arxiv.org/html/2605.08060#bib.bib13)) 研究了有限重复 (2 \times 2) 博弈，表明 LLM 可以在重复囚徒困境等自利设置中合作，但在 defection 后往往变得不宽容，并难以保持适应性合作。如果重复轮次中的 co-players 变化，成功会进一步恶化(Tewolde 等人，2026 (https://arxiv.org/html/2605.08060#bib.bib29))。此外，Piatti 等人(2024 (https://arxiv.org/html/2605.08060#bib.bib15)) 表明，大多数 LLM 社会无法在社会困境博弈中维持合作。这些研究表明，LLM 合作通常在早期阶段比在后几轮更容易维持。

LLM 在游戏中的推理和战略行为。Duan 等人(2024 (https://arxiv.org/html/2605.08060#bib.bib14)) 在 GTBench 中进一步表明，战略能力在游戏环境中是不均匀的，并且显式推理方法如思维链 (CoT)(Wei 等人，2022 (https://arxiv.org/html/2605.08060#bib.bib31)) 或思维树(Yao 等人，2023 (https://arxiv.org/html/2605.08060#bib.bib32)) 并不能 reliably 提高性能。最近，Piedrahita 等人(2025 (https://arxiv.org/html/2605.08060#bib.bib18)); Li 和 Shirado (2025 (https://arxiv.org/html/2605.08060#bib.bib30)) 发现，推理导向的模型甚至可能比非推理模型合作更少，倾向于个体理性但社会有害的行为和决策。这些发现表明，推理对合作并非 uniformly 有益，并且本身会改变 LLM 智能体的战略风格。

记忆对智能系统的影响。与此同时，记忆已成为增强 AI 系统能力的强大机制。在 LLM 时代之前，Weston 等人(2014 (https://arxiv.org/html/2605.08060#bib.bib10)) 和 Li 等人(2022 (https://arxiv.org/html/2605.08060#bib.bib12)) 等工作探索了显式记忆架构以提高 robustness 和 generalization，表明记忆可以作为 beyond 参数优化的能力增强的正交维度。在 agentic AI 时代，这条研究线已扩展到包括框架，如检索增强生成 (RAG; Lewis 等人，2020 (https://arxiv.org/html/2605.08060#bib.bib11))、Memory-GPT(Packer 等人，2023 (https://arxiv.org/html/2605.08060#bib.bib9))，以及越来越多的评估基准，包括 MemBench(Tan 等人，2025 (https://arxiv.org/html/2605.08060#bib.bib16)) 和 MemoryAgentBench(Hu 等人，2025 (https://arxiv.org/html/2605.08060#bib.bib17))。总的来说，这些工作突出了记忆在构建更 capable 和 adaptive 智能系统中的核心作用。然而，尽管取得了这一进展，仍然缺乏大规模、系统的研究来评估记忆在多智能体社会困境设置中的作用，其中多个配备记忆的智能体随时间进行战略互动。

综上所述，这些研究表明，LLM 智能体之间重复互动中的合作难以维持。然而，不同的 bounded 互动历史长度如何塑造合作结果仍然未知，包括更长历史何时支持一致合作，何时反而放大行为噪音并驱动合作崩溃。

3 实验设计和设置

为了实证表征 LLM 智能体的合作机制，我们在四个经典社会困境博弈中评估了多个 LLM。具体来说，我们研究了七个代表性模型：Gemma-3-12B, GPT-OSS-20B, GPT-OSS-120B, Llama-3.3-70B, Llama-4-Scout-17B, Mistral-7B, 和 Qwen2.5-Coder-32B，以及四个社会困境环境：囚徒困境 (PD)、旅行者困境 (TD)、公共物品博弈 (PG) 和信任博弈 (TG)。完整的游戏定义和相应的提示见附录 A (https://arxiv.org/html/2605.08060#A1)。

在每个实验中，两个或三个实例化自同一 backbone 模型的 LLM 智能体重复玩四个社会困境游戏之一，同时共享访问所有玩家过去决策的历史。在这个重复游戏设置中，智能体非常可能（例如，99%，智能体知道概率）玩另一轮，并且它们将与相同的对手玩。具体来说，我们要求智能体旨在获得长期累积奖励，以减轻 toward 短期 defection 的倾向。此外，我们指示模型以思维链方式推理，通过 (1) 思考游戏规则和历史，(2) 输出其推理路径，以及 (3) 提供最终游戏决策。在所有游戏中，提示明确告诉智能体，在每一轮之后，互动将以高预设概率（例如，99%）继续到下一轮。这创建了一个重复游戏设置，其中智能体认为它们非常可能与同一对手玩另一轮，从而保留互惠、报复和信任修复的激励。为了研究 bounded 记忆的影响，我们改变可访问的互动历史长度 (HL)，定义为决策仍对智能体可用的前几轮的数量。然后我们跟踪从早期到后期轮次的行为轨迹和推理轨迹，并使用合作比率量化每个实验。

对于所有 LLM 推理，我们将温度设置为 0.7，最大输出长度设置为 2,000 tokens，并允许每个互动在每一轮后以 0.99 的概率继续，最多 500 轮。我们将可访问的互动历史长度变化为 {0, 1, 2, 3, 5, 10, 20, 40, 80}，并将每个设置重复三次。所有实验均使用通过 Cloudflare Workers AI 平台 API 访问的开源模型进行 111https://developers.cloudflare.com/workers-ai/。

4 记忆诅咒的机制：扩大的回忆如何侵蚀信任

基于实验结果，我们在 LLM 和博弈中识别出两种行为模式 (图 2 (https://arxiv.org/html/2605.08060#S4.F2) 和附录表 1 (https://arxiv.org/html/2605.08060#Ax1.T1))。第一种模式是一致合作，观察到 Llama-3.3-70B, Qwen2.5-Coder-32B across 多个游戏，以及 Gemma-3-12B, GPT-OSS-120B, Mistral-7B, 和 Llama-4-Scout-17B 在囚徒困境中。这种长期合作行为似乎主要源于两个因素：(1) 某些模型中 toward 合作的内在倾向，以及 (2) 充分理解和前瞻性，通过推理，特定游戏中合作的长期利益，无论记忆内容如何（示例推理模式见附录