向思维模型教授工具推理：工具集成推理的全流程方案

# 教授思维模型使用工具进行推理：工具集成推理的全流程方案
来源：https://arxiv.org/abs/2605.06326
作者：Qianjia Cheng (https://arxiv.org/search/cs?searchtype=author&query=Cheng,+Q)、Yuchen Zhang (https://arxiv.org/search/cs?searchtype=author&query=Zhang,+Y)、Zhilin Wang (https://arxiv.org/search/cs?searchtype=author&query=Wang,+Z)、Yuxin Zuo (https://arxiv.org/search/cs?searchtype=author&query=Zuo,+Y)、Shunkai Zhang (https://arxiv.org/search/cs?searchtype=author&query=Zhang,+S)、Yuchen Fan (https://arxiv.org/search/cs?searchtype=author&query=Fan,+Y)、Yu Qiao (https://arxiv.org/search/cs?searchtype=author&query=Qiao,+Y)、Bowen Zhou (https://arxiv.org/search/cs?searchtype=author&query=Zhou,+B)、Ning Ding (https://arxiv.org/search/cs?searchtype=author&query=Ding,+N)、Yu Cheng (https://arxiv.org/search/cs?searchtype=author&query=Cheng,+Y)、Yun Luo (https://arxiv.org/search/cs?searchtype=author&query=Luo,+Y)、Ganqu Cui (https://arxiv.org/search/cs?searchtype=author&query=Cui,+G)

查看 PDF (https://arxiv.org/pdf/2605.06326)

> 摘要：工具集成推理（Tool-Integrated Reasoning, TIR）提供了一种直接扩展思维模型，使其超越纯文本推理限制的方法。然而，我们观察到一个矛盾现象：即使强大的思维模型几乎不进行任何实际的工具调用，启用工具的评估反而会导致推理性能下降。在本文中，我们研究了如何在不牺牲其无工具推理能力的前提下，将自然的工具使用行为注入到强大的思维模型中，并提出了一套全面的 TIR 方案。我们强调：(i) TIR 监督微调（SFT）的有效性取决于教师轨迹的可学习性，应优先选择天生适合通过工具增强来解决的问题；(ii) 控制工具使用轨迹的比例可以缓解对纯文本推理能力的灾难性遗忘；(iii) 优化 pass@k 指标和响应长度，而非训练损失，可以在最大化 TIR SFT 收益的同时，为强化学习（RL）探索保留余地；(iv) 基于合适的 SFT 初始化并明确防范模式崩溃的稳定可验证奖励强化学习（RLVR）阶段，提供了一种简单但极其有效的解决方案。将该方案应用于 4B 和 30B 规模的 Qwen3 思维模型后，所得模型在多种基准测试中取得了开源模型中的最先进（SOTA）性能，例如在 AIME 2025 上，4B 和 30B 模型分别达到了 96.7% 和 99.2%。

## 提交历史

来自：Qianjia Cheng \[查看邮件 (https://arxiv.org/show-email/3461b66e/2605.06326)\] **\[v1\]** 2026年5月7日 星期四 14:23:21 UTC (975 KB)