gsm8k

掩码蒸馏是一种知识蒸馏框架，它训练学生大语言模型仅预测解决方案令牌，同时推理教师提供反馈，旨在将思维链计算内化到模型参数中。该方法显示任务相关的成功，在GSM8K上有效，但对于像Countdown这样更困难的任务需要小型脚手架。

本文研究了一个冻结的循环变换器能否读取自身计算质量（预答案预测达到AUROC 0.797）以及外部干预能否改善结果，发现所有测试的冻结干预均未产生验证的能力增益，这一特性称为操作原型自省。

本文研究了在消费级硬件限制下，结构化合成推理数据是否能提升小型语言模型的算术推理能力。使用基于GSM8K的合成语料库，通过LoRA对Qwen3-0.6B和Qwen3-1.7B进行微调，精确匹配准确率提升了12-13个百分点，并在相关基准测试中表现出较强的迁移能力。

LoRA Speedrun 是一个微调技术的实际耗时公开排行榜，通过自动化验证，在单块 L40S GPU 上使用 Qwen2.5-1.5B 和 SmolLM2-1.7B 模型，测量 LoRA 适配器在 GSM8K 和 SQuAD 任务上达到目标准确度的速度。

CADENCE 引入了一个统一框架，解决了在线策略知识蒸馏用于推理时的冷启动崩溃、状态无关调度和奖励稀疏性问题，在单个Mac Studio上使用紧凑学生模型在GSM8K和MATH-500上取得了强劲结果。

本文介绍了可行路径熵（VPE），一种用于智能系统的有限预算的已验证延续能力度量，将能力分解为已验证可达性和已验证模式多样性。在GSM8K上使用Qwen2.5-Instruct模型进行的实验表明，可访问的已验证延续能力，而非参数数量，决定了镜像视界。

本研究引入了针对推理轨迹的章节感知压缩，训练模型舍弃填充性叙述，同时保留计算和验证片段，在比原始推理少用2-3倍词元的情况下，达到或超越原始准确率。

SPEAR 是一个代码增强的智能体提示优化器，它利用 Python 沙箱进行结构错误分析，在包括工业裁判任务、BBH 和 GSM8K 在内的多个 LLM 评估套件上取得了最先进的性能。

提出了一种名为GuardedRepair的框架，用于对LLM数学推理进行事后替换，通过选择性替换和安全防护来修复错误，同时最小化对正确推理轨迹的损害。在GSM8K上，该方法在未破坏正确答案的情况下，将准确率从95.60%提升至96.89%。

本文发现了一种‘位置复制’捷径：小型语言模型通过复制答案分隔符前的最后一个数字来回答算术问题，绕过了实际推理。该效应解释了为何打乱CoT步骤仍能保持性能；在GSM8K上，它占1-3B模型教师强制准确率的89-92%。

HRM-Text 引入了一种分层循环模型，将计算解耦为慢速和快速层级，使得仅使用400亿个token和1500美元预算即可从头开始高效预训练，实现了与更大模型竞争的性能。

OpenAI 训练了一个使用验证器的系统来解决小学数学应用题，准确率达到儿童水平的 90%，性能几乎是微调后的 GPT-3 的两倍。该方法通过训练验证器来评估候选解决方案并选择最佳方案，解决了语言模型在多步推理中的弱点。