How to make System 1 LLMs show System 2 competencies?
Summary
该研究探讨如何让采用快速直觉式推理(System 1)的大语言模型展现出慢速、分析性的 System 2 推理能力,可能提出相应的训练或提示方法。
No content available
Similar Articles
System1-Arena: Which Decisions Can Be Left to System 1?
System1-Arena 是一个包含 92k 问题、105 项任务与 138 个闭环环境的基准,用于比较 System-1 概率模型与 System-2 推理 LLM 的离散决策能力。结果显示最大的 System-1 模型在非智能体任务上以四分之一延迟匹配快速闭源 LLM 且校准更好,而推理 LLM 精度最高但成本约为 70 倍;在闭环环境中大型开源 LLM 成功率最高(达 32.9%)。
Diagnostic Analysis for Large Language Model Reasoning
该论文提出两阶段诊断评估方法,检验以图结构表示的LLM推理链的结构可靠性,发现图的可靠性随拓扑、提示设计和模型族而变化,且图结构对不确定性估计的校准和节点级诊断有帮助,但作为提示上下文时收益有限。
Are Large Reasoning Models Good Everyday Reasoners? A Comparison with Non-Reasoning Models on Logical Reasoning Tasks
该论文系统评估了大型推理模型在日常语言与语用推理任务上的表现,发现当日常推理偏离形式逻辑规则时,推理模型性能显著下降,且部分非推理模型配合思维链提示反而表现更好。
COMPASS: Finding Where Reasoning Lives in Language Models
COMPASS提出一种无需预定义推理特征的推理时激活转向方法:利用模型自身答案的正确性作为信号,定位少数关键注意力头并沿正确性方向干预其激活,在数学基准上以显著更少的token逼近CoT精度。
System Switch: When Should a Fast Decision Model Stop and Think?
论文研究了在实时环境中,快速决策模型何时应将控制权交给慢速推理的视觉-语言模型的双系统智能体架构。通过 Doom 游戏闭环实验,发现决策模型的置信度校准与 AUROC 能有效预测延迟决策带来的收益,并开源了代码、提示词与数据。