How to make System 1 LLMs show System 2 competencies?

Hacker News Top Papers

Summary

该研究探讨如何让采用快速直觉式推理(System 1)的大语言模型展现出慢速、分析性的 System 2 推理能力,可能提出相应的训练或提示方法。

No content available
Original Article

Similar Articles

System1-Arena: Which Decisions Can Be Left to System 1?

arXiv cs.CL

System1-Arena 是一个包含 92k 问题、105 项任务与 138 个闭环环境的基准,用于比较 System-1 概率模型与 System-2 推理 LLM 的离散决策能力。结果显示最大的 System-1 模型在非智能体任务上以四分之一延迟匹配快速闭源 LLM 且校准更好,而推理 LLM 精度最高但成本约为 70 倍;在闭环环境中大型开源 LLM 成功率最高(达 32.9%)。

Diagnostic Analysis for Large Language Model Reasoning

arXiv cs.CL

该论文提出两阶段诊断评估方法,检验以图结构表示的LLM推理链的结构可靠性,发现图的可靠性随拓扑、提示设计和模型族而变化,且图结构对不确定性估计的校准和节点级诊断有帮助,但作为提示上下文时收益有限。

COMPASS: Finding Where Reasoning Lives in Language Models

arXiv cs.AI

COMPASS提出一种无需预定义推理特征的推理时激活转向方法:利用模型自身答案的正确性作为信号,定位少数关键注意力头并沿正确性方向干预其激活,在数学基准上以显著更少的token逼近CoT精度。

System Switch: When Should a Fast Decision Model Stop and Think?

Hugging Face Daily Papers

论文研究了在实时环境中,快速决策模型何时应将控制权交给慢速推理的视觉-语言模型的双系统智能体架构。通过 Doom 游戏闭环实验,发现决策模型的置信度校准与 AUROC 能有效预测延迟决策带来的收益,并开源了代码、提示词与数据。