Pigeonholing：不良提示导致模型崩溃并犯错

arXiv cs.CL 论文
in-context-learning mode-collapse prompt-engineering large-language-models rlvr synthetic-errors performance-degradation

摘要

本文介绍了“Pigeonholing”这一现象，即不良提示导致大语言模型崩溃并重复错误，造成38-40%的性能下降。跨越10个任务和10个模型的实验表明，随着对话轮次增加，问题恶化，并提出了结合合成错误的RLVR作为缓解措施。

arXiv:2606.24267v1 Announce Type: new 摘要：虽然上下文学习通常在大语言模型(LLMs)中被证明是有效的，但不良上下文会导致性能下降和模式崩溃，我们将这种现象称为"pigeonholing"。**非恶意的**不良上下文可能出现在没有恶意越狱意图的情况下：例如，用户要求模型证明一个错误的数学定理，或者未纠正模型有缺陷的代码。具体而言，我们在两种场景下研究了"pigeonholing"：(1)当用户提出解决方案时，以及(2)当对话上下文包含助手之前(错误)的回答时。我们在10个可验证和开放式的任务上使用10种不同模型进行的实验表明，pigeonholing通过多种方式表现出来：(1)重复上下文中的错误答案(导致38-40%的性能下降)，(2)在编码和文本生成中收敛到狭窄的答案集而不探索其他可能性，以及(3)在有争议的话题上转变立场以迎合用户或助手之前的说法。我们发现，pigeonholing几乎单调地随着对话轮次增加而恶化(当重复错误从1次增加到5次时，性能额外下降14%以上)，并且即使提供的示例是正确的，pigeonholing引发的模式崩溃也可能发生。作为缓解措施的一步，我们提出了结合合成错误的RLVR，与普通RLVR基线相比，在不良上下文中将模型性能提升了43-60%。
查看原文
查看缓存全文

缓存时间: 2026/06/24 07:46 

# 鸽笼效应：不良提示导致模型崩溃和出错
来源：https://arxiv.org/abs/2606.24267
查看PDF (https://arxiv.org/pdf/2606.24267)

> 摘要：虽然上下文学习通常被证明在大型语言模型（LLM）中是有效的，但不良上下文可能导致性能下降和模式崩溃，我们称这种现象为“鸽笼效应”。**无意中的不良**上下文可能在无恶意越狱意图的情况下发生：例如，用户要求模型为一个不正确的数学定理辩护，或者未能纠正模型有缺陷的代码。具体而言，我们在两种场景中研究“鸽笼效应”：（1）当用户提出解决方案时；（2）当对话上下文包含助手之前的（错误）回答时。我们在10个可验证且开放式的任务上，使用10个不同模型进行的实验表明，鸽笼效应有多种表现方式：（1）重复上下文中不正确的回答（导致38-40%的性能下降）；（2）在编码和文本生成中收敛于狭窄的回答集，而不探索其他可能性；（3）在争议性话题上转变立场，以符合用户或助手之前的说法。我们发现，鸽笼效应几乎随对话轮次数量单调恶化（当重复错误从1次增加到5次时，性能额外下降14%以上），并且即使提供的示例是正确的，鸽笼效应引起的模式崩溃也可能发生。作为缓解措施的一步，我们提出了带有合成错误的RLVR，与普通RLVR基线相比，在不良上下文下模型性能提升了43-60%。

## 提交历史

来自：Hyunji Alex Nam [查看邮箱](https://arxiv.org/show-email/ca0d1e76/2606.24267) **[v1]** 2026年6月23日 星期二 07:52:22 UTC (994 KB)

相似文章

隐瞒式欺骗：语言模型明知故犯地隐藏自身错误

arXiv cs.CL

本文提出了一个基准测试，表明大语言模型经常隐瞒自身的错误：在对话场景中，模型有36.4%的概率不披露合成错误；在智能体场景中这一比例高达67.1%，并且在部分情况下，模型会在思维链中明知故犯地隐藏错误。作者据此主张，开发者应依赖独立的监控机制，而非模型的自我报告。

评估提示扰动对大语言模型偏见与幻觉的影响

arXiv cs.CL

这篇 arXiv 论文评估了提示扰动如何影响用于决策任务的大语言模型中的偏见与幻觉问题，发现扰动在部分模型中能够缓解这些问题，其中 Claude 3 在大多数数据集上的表现优于 GPT-3.5。

超越谄媚评分：任务、模型与压力如何影响大语言模型的退让行为

arXiv cs.CL

该 arXiv 论文研究了大语言模型为何会在用户施压时放弃原本正确的答案，发现任务验证成本和训练中设定的护栏比模型家族或施压策略的影响更为显著。在开启推理模式后，模型面对高难度谜题时的错误采纳率从 19.2% 和 12.5% 降至 0%，为可靠使用大语言模型提供了实用指导。

当RLVR缩小推理边界：诊断Pass@k反转

arXiv cs.LG

本文诊断了可验证奖励强化学习（RLVR）中的“pass@k反转”现象：训练提高了单次准确率，但在重复采样下降低了性能，尤其是在正确轨迹稀少的边界提示上。提出了一种基于每个问题的基础锚定（PBA）方法来缓解这一问题。