论文页面 - 知晓何时思考不足：教导小推理模型超越其参数知识进行推理

来源: https://huggingface.co/papers/2609.34327

摘要

扩展测试时计算是提升语言模型推理能力的有效途径，对于易于部署的小推理模型（sRM）尤其具有吸引力。然而，额外的“思考”是否总是正确的操作？通过对两个模型家族及多个规模在推理中间状态的介入分析，我们发现自我优化主要将概率质量巩固在当前状态已可达到的解上，而非使其能够达到新解。这些介入揭示了两种失败模式：执行瓶颈（正确路径可达，反思可恢复）与知识瓶颈（需外部相关信息才能达到）。基于此区分，我们提出FlyBy选择性查询框架，并训练4B和8B变体先推理、诊断未解决问题，并在遇到知识瓶颈时，查询参数知识超出自身范围的更强模型。监督微调引导多深度查询动作，而成本感知强化学习则校准是否查询、查询内容及投入程度。在六个基准的1,158道难题上，FlyBy-4B在pass@8指标达到45.96%，以低于2.7倍的服务成本超越Qwen3-14B（41.64%），同时在pass@1指标上也优于Qwen3-8B（16.85% vs. 15.31%）。扩展至FlyBy-8B后，pass@8进一步提升至51.81%。

查看arXiv页面 (https://arxiv.org/abs/2609.34327) 查看PDF (https://arxiv.org/pdf/2609.34327) GitHub0 (https://github.com/tally0818/FlyBy) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.34327)

在您的代理中获取此论文：

hf papers read 2609\.34327

没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型0

无模型链接本文

在模型的README.md中引用arxiv.org/abs/2609.34327以从此页面链接。

引用本文的数据集0

无数据集链接本文

在数据集的README.md中引用arxiv.org/abs/2609.34327以从此页面链接。

引用本文的Spaces0

无Space链接本文

在Space的README.md中引用arxiv.org/abs/2609.34327以从此页面链接。

包含本文的收藏0

无收藏包含本文

将此论文添加到收藏夹 (https://huggingface.co/new-collection) 以从此页面链接。