SignalReasoner：评估3B模型在信号数学推理中的上限

# SignalReasoner：评估3B模型在信号数学推理中的性能上限 来源：https://arxiv.org/html/2608.17301 ###### 摘要 通过监督链式微调和基于可验证奖励的强化学习进行后训练，已显著提升了大语言模型（LLMs）的数学推理能力。然而，其在信号处理问题中的应用仍相对探索不足。本报告研究了如何通过强化微调策略，使Qwen2.5-3B-Base模型适应来自WirelessMATHBench-XL的研究生水平信号数学问题——这是一个针对该领域数学推理的综合性基准测试。我们研究了两种训练范式：（i）在WirelessMATHBench-XL上使用可验证奖励进行直接强化学习（RL）；（ii）在经过蒸馏的无线领域链式语料库上进行监督微调（SFT），随后进行相同的特定领域RL阶段。在这两种范式下，我们对分组相对策略优化（GRPO）、分组序列策略优化（GSPO）和几何平均策略优化（GMPO）进行了基准测试。我们的目标是评估：领域感知的CoT SFT是否是后续RL的有效初始化方式，以及GSPO或GMPO是否在信号推理任务的稳定性或准确性方面优于GRPO。我们最好的模型达到了39.12%的总体准确率，相比未经训练的Base模型（12.37%）提升了超过三倍。 关键词：信号数学推理，SFT，GRPO，GSPO，GMPO 图1：在WirelessMATHBench-XL上的对比预览。蓝色条表示参考强模型的结果，橙色/红色条总结了我们Qwen2.5-3B的实验结果。路径A表示直接RL，路径B表示SFT+RL。## 1 引言 大语言模型（LLMs）在推理方面取得了显著进展\[23 (https://arxiv.org/html/2608.17301#bib.bib24), 8 (https://arxiv.org/html/2608.17301#bib.bib21), 21 (https://arxiv.org/html/2608.17301#bib.bib22), 6 (https://arxiv.org/html/2608.17301#bib.bib28)\]，尤其是在使用监督链式数据进行后训练以及通过可验证奖励进行强化学习之后\[27 (https://arxiv.org/html/2608.17301#bib.bib23), 18 (https://arxiv.org/html/2608.17301#bib.bib15), 7 (https://arxiv.org/html/2608.17301#bib.bib3)\]。然而，对于通用模型来说，专业的工程问题仍然很困难。信号处理问题涉及诸如MIMO和波束成形\[14 (https://arxiv.org/html/2608.17301#bib.bib14)\]、RIS\[2 (https://arxiv.org/html/2608.17301#bib.bib26)\]和ISAC\[11 (https://arxiv.org/html/2608.17301#bib.bib27)\]等技术，并且通常结合了符号方程、物理假设和冗长的科学背景。一个正确的答案可能不仅需要代数运算，还需要识别信道模型、信号维度以及系统方程中变量的含义。现有的低于100亿参数的模型在处理此类任务时十分吃力，因为它们缺乏同时处理领域特定知识和多步数学推导的能力\[9 (https://arxiv.org/html/2608.17301#bib.bib29), 10 (https://arxiv.org/html/2608.17301#bib.bib30), 22 (https://arxiv.org/html/2608.17301#bib.bib25)\]。 本报告研究了Qwen2.5-3B\[24 (https://arxiv.org/html/2608.17301#bib.bib1)\]是否可以通过强化微调适应到这个领域，以及后训练能在多大程度上提升其推理能力。我们在WirelessMATHBench-XL\[10 (https://arxiv.org/html/2608.17301#bib.bib30)\]上进行了实验，该基准包含源自技术文献的研究生水平信号数学问题，并使用三种RL算法评估了两种训练范式。 在第一条路径中，Qwen2.5-3B-Base直接在WirelessMATHBench-XL上使用RL进行优化。该路径测试基础模型能否仅从奖励信号中获取领域推理行为。在第二条路径中，Qwen2.5-3B-Base首先在Wireless-CoT-Mix上进行微调——这是一个包含3,542个蒸馏无线领域CoT轨迹和NuminaMath-CoT\[1 (https://arxiv.org/html/2608.17301#bib.bib20)\]样本的混合数据集——然后在WirelessMATHBench-XL上进一步使用RL优化。该路径测试领域感知的CoT SFT是否为后续的信号领域RL提供了更好的初始化。 对于RL阶段，我们比较了三种基于组的策略优化算法，即GRPO\[18 (https://arxiv.org/html/2608.17301#bib.bib15)\]、GSPO\[29 (https://arxiv.org/html/2608.17301#bib.bib16)\]和GMPO\[28 (https://arxiv.org/html/2608.17301#bib.bib17)\]。GRPO通过估计为同一提示采样的多个响应的优势来消除对独立评论员的需求。GSPO将优化单元从标记改为完整序列，旨在通过将序列级奖励与序列级裁剪对齐来提高训练稳定性。GMPO则通过将算术聚合替换为几何平均目标来稳定标记级更新，该目标降低了对异常重要性比率的敏感性。 实验结果显示，我们最好的模型达到了39.12%的总体准确率，相比未经训练的Base模型（12.37%）提升了超过三倍。 #### 贡献。本报告做出了以下贡献： - •我们对适应Qwen2.5-3B以处理WirelessMATHBench-XL上信号处理任务的两种微调路径进行了系统的实证比较，并证明RL能将总体准确率从12%稳定提升至39%。 - •我们在两条路径上对GRPO、GSPO和GMPO进行了基准测试，发现GSPO和GMPO在准确率、收敛速度和输出标记效率方面均优于GRPO，其中SFT后的GMPO取得了最佳的总体结果。 - •我们发现了在GSPO和GMPO下出现的推理缩短现象，即模型学会生成更紧凑的答案并减少链式思考的细节，并对此行为的内在机制提出了一个合理的解释。 ## 2 相关工作 ### 2.1 用于推理的强化学习 将语言模型与人类意图对齐推动了RLHF范式的发展，其中基于人类偏好训练的奖励模型指导基于PPO的策略优化\[15 (https://arxiv.org/html/2608.17301#bib.bib11), 17 (https://arxiv.org/html/2608.17301#bib.bib12)\]。DPO\[16 (https://arxiv.org/html/2608.17301#bib.bib13)\]后来通过消除奖励模型简化了这一过程，但其公式与成对偏好数据绑定。它无法适应诸如数学正确性或代码执行结果等可验证奖励，这些奖励是从模型输出确定性计算得出的。这一区别推动了奖励驱动RL这一独立研究方向，即策略直接针对特定任务、自动评估的奖励函数进行优化。 数学推理是这类方法的天然应用领域。STaR\[27 (https://arxiv.org/html/2608.17301#bib.bib23)\]通过在正确原理上进行迭代自训练来引导推理。DeepSeekMath\[18 (https://arxiv.org/html/2608.17301#bib.bib15)\]引入了GRPO，而DeepSeek-R1\[7 (https://arxiv.org/html/2608.17301#bib.bib3)\]后来证明，使用简单基于规则奖励的大规模RL可以引出复杂的推理行为。DAPO\[26 (https://arxiv.org/html/2608.17301#bib.bib2)\]提出了一种动态采样策略优化算法，并引入了四项关键技术来稳定长链式思考设置下的RL，包括用于更广泛探索的Clip-Higher和用于过滤低质量提示的动态采样。GSPO\[29 (https://arxiv.org/html/2608.17301#bib.bib16)\]和GMPO\[28 (https://arxiv.org/html/2608.17301#bib.bib17)\]是本报告直接评估的两种变体，分别解决了序列级与标记级优化，以及算术平均与几何平均聚合的问题。 ### 2.2 链式思考推理 链式思考（CoT）提示\[23 (https://arxiv.org/html/2608.17301#bib.bib24)\]通过在输入中增加中间推理轨迹，激发LLMs进行逐步推理，显著提高了在多步算术和常识任务上的性能。Kojima等人\[8 (https://arxiv.org/html/2608.17301#bib.bib21)\]后来证明，通过简单的提示“让我们一步一步思考”无需示例也能达到同样效果，这表明结构化推理是一种内在能力，可以被触发而非教授。自洽性\[21 (https://arxiv.org/html/2608.17301#bib.bib22)\]通过采样多条推理路径并通过多数投票进行边缘化，进一步提高了可靠性。这利用了正确推理在不同样本中往往比错误推理更一致的观察结果。 除了提示，CoT数据已成为后训练的核心。大规模数据集如MetaMathQA\[25 (https://arxiv.org/html/2608.17301#bib.bib18)\]、OpenMathInstruct-1\[20 (https://arxiv.org/html/2608.17301#bib.bib19)\]和NuminaMath-CoT\[1 (https://arxiv.org/html/2608.17301#bib.bib20)\]提供了大量包含CoT格式原理的问题-解决方案对，使SFT能够将结构化的逐步推理作为行为先验灌输。在本报告中，我们进一步从DeepSeek-V3中蒸馏出无线特定的CoT轨迹，以将此推理先验与目标信号处理领域对齐。在RL阶段，此先验塑造了模型的探索，因为响应已经遵循推导然后回答的格式，可验证奖励可以专注于正确性而非格式发现。这种CoT初始化与后续RL之间的相互作用是本研究的关键轴线。 ### 2.3 信号推理中的LLM 信号处理和无线通信对数学精度提出了严格要求，特别是对于信道估计、干扰管理和波束成形\[3 (https://arxiv.org/html/2608.17301#bib.bib4), 5 (https://arxiv.org/html/2608.17301#bib.bib5)\]等任务。一些初步工作探索了LLMs在无线场景中的应用，主要关注领域特定知识的提取和技术标准的基础回忆\[13 (https://arxiv.org/html/2608.17301#bib.bib6), 12 (https://arxiv.org/html/2608.17301#bib.bib7), 4 (https://arxiv.org/html/2608.17301#bib.bib8), 19 (https://arxiv.org/html/2608.17301#bib.bib9)\]。值得注意的是，TelecomGPT\[30 (https://arxiv.org/html/2608.17301#bib.bib10)\]已将LLM能力扩展到更高级的任务，如无线特定的代码生成和公式补全。 然而，这些早期工作主要强调知识检索或总结，并未系统评估LLMs能否执行实际信号处理工程系统中所需的多步数学推理。WirelessMathBench\[9 (https://arxiv.org/html/2608.17301#bib.bib29)\]通过引入一个包含587个专家级信号处理数学问题的精选基准测试迈出了一步。其后续版本WirelessMATHBench-XL\[10 (https://arxiv.org/html/2608.17301#bib.bib30)\]将数据集规模扩大到4,027个问题，并证明了使用GRPO微调的紧凑模型可以接近更大的通用模型的性能。 基于这一工作脉络，本报告系统地比较了几种强化微调策略，以使一个低于100亿参数的模型适应信号领域的数学推理。 ## 3 方法 ### 3.1 监督微调 给定监督数据集 \(\mathcal{D}_{\mathrm{SFT}}=\{(x,y)\}\)，SFT最小化自回归负对数似然： \(L_{\mathrm{SFT}}(\theta)=-\mathbb{E}_{(x,y)\sim \mathcal{D}_{\mathrm{SFT}}}\frac{1}{|y|}\sum_{t=1}^{|y|}\log \pi_{\theta}(y_{t}|x,y)\) 信号领域的可验证奖励能否在紧凑的基础模型中单独诱导有用的数学推理行为？ 在该路径下，我们比较了三种基于组的RL算法，即GRPO、GSPO和GMPO，以评估它们在未经SFT初始化直接应用于基础模型时的有效性。 ### 4.3 路径B：先在Wireless-CoT-Mix上进行SFT，然后进行RL 如图4 (https://arxiv.org/html/2608.17301#S4.F4)所示，第二条路径首先在Wireless-CoT-Mix上微调Qwen2.5-3B-Base，然后在WirelessMATHBench-XL上应用RL。该路径旨在回答以下问题： > 领域感知的CoT SFT是否为后续的信号领域RL提供了更好的初始化？ SFT阶段旨在用无线领域的推理模式、数学分解习惯和最终答案规范来初始化模型，同时通过NuminaMath-CoT混合保留一般的数学推理能力。随后的RL阶段则使用可验证奖励将这个先验进一步专门化到信号处理任务。 与路径A一样，我们在RL阶段比较了GRPO、GSPO和GMPO。 ## 5 实验设置 ### 5.1 比较方法 表1 (https://arxiv.org/html/2608.17301#S4.T1)列出了八个比较方法，包括两个基线（Base和Base-SFT）和六个RL变体（A-GRPO, A-GSPO, A-GMPO, B-GRPO, B-GSPO, B-GMPO）。这种设计孤立了两个问题：SFT是否能改善RL的起点，以及在每个起点下哪种RL算法最有效。 ### 5.2 超参数设置 所有实验均使用开源VeRL框架进行：111https://github.com/volcengine/verl。 SFT阶段在Wireless-CoT-Mix上训练Qwen2.5-3B-Base 1个时期，学习率为3×10⁻⁶，批大小为36。 RL阶段使用组大小为4，学习率为1×10⁻⁶，批大小为18，在三个NVIDIA RTX 4090 GPU上训练1000步。 SFT训练和RL生成的最大响应长度均设置为768个标记。 详细的超参数见附录中的表A1 (https://arxiv.org/html/2608.17301#A2.T1)。 ### 5.3 奖励设计 奖励函数从模型响应 \(y\) 中提取所有 `\boxed{}` 表达式，并将其与真实答案 \(a\) 进行逐元素比较。令 \(M\) 表示真实答案中框定的表达式数量，\(m\) 表示提取出的表达式中与真实答案完全匹配的数量。奖励定义为： \(R(y,a)=\begin{cases}0.0, & \text{未检测到}\boxed{}\\ 0.1, & m=0\\ 0.2, & 0<m<M\\ 0.4, & m=M\end{cases}\) 而SFT训练数据中使用的聊天模板使用 `<|im_end|>` 作为序列分隔符。这种不匹配导致模型无法识别响应何时应该终止，从而导致重复生成。为了解决这个问题，我们用Qwen2.5-3B-Instruct的 `generation_config.json` 和 `tokenizer_config.json` 替换了Base模型的相应文件，后者正确定义了 `<|im_end|>` 作为序列结束标记。此配置交换确保了模型在SFT和后续RL训练期间都能正确识别序列边界，而无需更改任何模型权重。 ## 附录B训练超参数 表A1 (https://arxiv.org/html/2608.17301#A2.T1) 列出了我们实验中使用的超参数。 所有RL变体共享相同的基础配置（组大小、学习率、批大小、训练步数），仅在算法特定参数上有所不同。对于GRPO，我们将KL损失系数设置为0.01，裁剪比设置为0.2。对于GSPO，我们使用紧凑的裁剪范围 `clip_ratio_low=3×10⁻⁴` 和 `clip_ratio_high=4×10⁻⁴`，且不使用KL惩罚。对于GMPO，我们将KL损失系数设置为0.001，裁剪比设置为0.4。 表A1：详细训练超参数。 ## 附录C扩展基准比较 表A2 (https://arxiv.org/html/2608.17301#A3.T2) 提供了与专有模型、开源通用模型和开源数学专用模型的扩展比较。我们包含了所有已报告的平均值。