SanSi：一种面向 System 1.5 思考的循环类型化决策模型
摘要
SanSi 将预训练的循环语言模型转化为类型化决策模型，通过在单次读出前递归复用相同层数层（即 System 1.5 思考）提升决策准确率，在 10,027 个测试决策上达到 72.0% 准确率，并可作为 RL 策略优化的判别器提升生成器 F1。
查看缓存全文
缓存时间: 2026/10/09 06:27
论文页面 - SanSi：用于 System 1.5 思维的循环类型化决策模型
来源：https://huggingface.co/papers/2610.07730
摘要
类型化决策模型（typed decision models）在不生成文本的情况下回答一个声明式问题：一个决策头在单次前向传播中为每个声明的选项返回一个概率。单次传播是快速、直觉化的 System 1 思维。我们研究一次传播与生成式推理之间的地带——循环（looping）：在一次类型化读出之前，将相同的层递归地应用若干次。每次循环都让模型在确定答案之前修正其隐状态，而无需生成任何 token；我们称之为 System 1.5 思维。我们提出 SanSi，它将一个预训练的循环语言模型转化为类型化决策模型。选项概率在每次循环后读出，且每次循环都使用恰当的评分规则（proper scoring rule）进行训练，因此在单次运行中，一个模型即可覆盖从一次循环到八次循环的全部计算预算。在来自 59 个来源的 10,027 个测试决策上，SanSi 达到 72.0% 的准确率：比使用相同配方训练的同结构非循环模型高出 13.5 个百分点，比一个更新的同规模非循环模型高出 5.3 个百分点，比参数量为其三倍的模型低 1.8 个百分点。在两个深度受控的任务上，循环能够将可解深度扩展到训练时所见深度之外，而在这些情形下更大的单次传播模型会失败。当作为强化学习策略优化的裁判（不使用标准答案）时，SanSi 将生成器的 F1 提升了 7.7 个百分点。
查看 arXiv 页面 (https://arxiv.org/abs/2610.07730) 查看 PDF (https://arxiv.org/pdf/2610.07730) 项目页面 (https://minnesotanlp.github.io/Sansi/) GitHub1 (https://github.com/minnesotanlp/Sansi) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.07730)
在你的 agent 中获取这篇论文：
hf papers read 2610.07730
还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash
引用本文的模型 2
minnesotanlp/SanSi-2.6B 约 10 小时前更新 • 1 (https://huggingface.co/minnesotanlp/SanSi-2.6B)
minnesotanlp/SanSi 约 10 小时前更新 • 1 (https://huggingface.co/minnesotanlp/SanSi)
引用本文的数据集 0
暂无数据集链接本文
在数据集的 README.md 中引用 arxiv.org/abs/2610.07730，即可从此页面链接它。
引用本文的 Spaces 0
暂无 Space 链接本文
在 Space 的 README.md 中引用 arxiv.org/abs/2610.07730，即可从此页面链接它。
收录本文的收藏夹 2
相似文章
@rohanpaul_ai: This paper finds that small decision models get far more accurate by rerunning the same layers several times before giv…
这篇论文提出 SanSi 方法，通过让小型决策模型（如 Ouro-1.4B）循环复用相同层数次推理，在多项决策任务上显著超越同规模单次前向模型，甚至超过 3 倍大的单遍模型，展示了循环深度小模型在内存受限场景下的潜力。
LEV：用循环决策模型实现快速与深度兼备的思考
LEV 是一种“系统1.5”决策模型，通过循环运行主干网络并在每轮后对选项打分来延长思考，而无需生成思维链，单一检查点即可在任意推理深度作答。实验显示 Lev-2.6B 在 JevBench 上从单轮 63.2% 提升至四轮 76.2%，且一个轻量停止器可在几乎无精度损失的情况下节省 15-24% 的计算。
从检索到类型化决策：基于生物医学句子编码器的校准系统一模型 **From Retrieval to Typed Decisions: Calibrated System One Models from Biomedical Sentence Encoders**
该论文提出了 SBERT2S1，该方法将 Sentence-Transformers 的检索式编码器转化为经过校准的类型化决策模型；同时发布了 BIODECIDE 基准测试与 MEDLINE-S1 数据集（包含来自 NLM 索引标注的 24.3 万条决策记录）。实验表明，检索式训练有助于先验融合的残差头（residual heads），但往往会损害跨头（cross-heads）的性能；此外，由于奖励归一化存在偏差，RLCD 的奖励训练效果不及交叉熵训练。
将 System One 决策模型与训练过的分类器和语言模型进行基准对比，用于自动化决策门（decision gates）
本文针对自动化决策门，将分类型的“System One”决策模型与有监督分类器和生成式语言模型进行了基准对比，发现模型排名取决于标签可用性、校准程度和成本。文章提出了随条件而定的设计规则，并表明级联模型可以在大幅降低成本的同时达到相当的准确率。
我们自己的 Jev：单次前向传播中的类型化决策，从内部评判模型到开放 LoRA 模型
这篇论文介绍了一种“类型化决策”的系统 1 接口：通过一次前向传播，直接从模型的 logits 或小型分类头输出固定选项的概率，用于替代昂贵的前沿大语言模型评判器。作者部署了一个自托管的秩为 16 的 LoRA 评判器，对 14.8 万条智能体编码会话记录进行分流，成本仅为前沿模型评判器的约 1%；并在 JevBench 上使用 350 亿参数的开源模型达到 79.3%，与商业参考系统（73.0%）无显著差异。