论文页面 - 罕见、相关、却仍然错误：记忆如何失效于LLM群体决策

来源：https://huggingface.co/papers/2610.37624

摘要

在压缩多智能体讨论以做出最终决策时，基于罕见性或相关性的记忆选择均因引入诱饵信息和社会认同偏差而失效；甚至完整对话记录的准确率相比不做记录还会降低。

当一个LLM (https://huggingface.co/papers?q=LLM)群体的讨论被压缩为一份简短的记忆供最终决策者使用时，记忆应该保留什么？两种自然的启发式策略是：保留最罕见的陈述，或保留与决策标准相关的陈述。在隐藏档案 (https://huggingface.co/papers?q=hidden-profile)任务中，这两种策略都看起来很有吸引力，因为一个事实的普遍持有程度与其是否有帮助之间存在混淆。我们提出了CrossProfile (https://huggingface.co/papers?q=CrossProfile)——一个包含60个模板的诊断基准，配备自动验证的答案键，在其中支持性事实、诱饵事实和无关事实的归属被交叉变换，而其文本内容保持不变（共480个任务）。在Qwen2.5-7B、Llama-3.1-8B和两个DeepSeek模型上，两种启发式策略在可预测的位置上均告失败。按相关性选择会重新引入诱饵信息，因为诱饵是切题的：即使一个完美的相关性过滤器 (https://huggingface.co/papers?q=relevance%20filter)在经典的隐藏档案 (https://huggingface.co/papers?q=hidden-profile)配置下，相比最稀有优先的选择策略也会损失23到31个点。最稀有优先的选择策略平均而言并不比随机选择更好，只在罕见事实恰好是有用事实时才能胜出。在两种情况下，准确率遵循的是记忆所保留的证据平衡，而非保留证据的策略本身。决策模型还会引入第三种失败——一种社会认同 (https://huggingface.co/papers?q=social%20proof)形式：它会给予归属于多个智能体的事实额外权重。移除归属标签 (https://huggingface.co/papers?q=attribution%20tags)，或在固定行顺序的情况下随机重新分配归属标签，在经典配置下可将准确率提高13到24个点。在自然讨论中，证据在记忆发挥作用之前就已丢失：完整对话记录的准确率甚至低于完全不做记录。

查看 arXiv 页面 (https://arxiv.org/abs/2610.37624) 查看 PDF (https://arxiv.org/pdf/2610.37624) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.37624)

引用此论文的模型 0

没有模型链接到此论文

在模型 README.md 中引用 arxiv.org/abs/2610.37624 以从此页面链接。

引用此论文的数据集 0

没有数据集链接到此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.37624 以从此页面链接。

引用此论文的 Space 0

没有 Space 链接到此论文

在 Space README.md 中引用 arxiv.org/abs/2610.37624 以从此页面链接。

包含此论文的收藏 0

没有收藏包含此论文

将此论文添加到收藏 (https://huggingface.co/new-collection) 以从此页面链接。