顺便，更严肃地说，@dianetc_ 和我思考了很久：用于推理的强化学习，后接回归头，能否胜过语言化的回归？我仍然对这种推理密集型回归很好奇。

https://t.co/xc5PXFw75U

推理密集型回归

来源：https://arxiv.org/html/2508.21762 会议：ACM人工智能与智能体系统会议；2026年5月26–29日；美国加利福尼亚州圣何塞ACM人工智能与智能体系统会议（CAIS ’26），2026年5月26–29日，美国加利福尼亚州圣何塞DOI：10.1145/3786335.3813139 (https://doi.org/10.1145/3786335.3813139)ISBN：979-8-4007-2415-2/2026/05Diane Tchuindjo和Omar Khattab机构：美国马萨诸塞州剑桥市麻省理工学院邮箱：[email protected]

© cc

摘要.

AI 研究人员和实践者越来越多地将大型语言模型（LLMs）应用于我们称之为推理密集型回归的任务，即从文本中推断出微妙的数值分数。与标准的语言回归任务（如情感分析或相似性分析）不同，RiR 常出现在临时应用中，例如基于评分标准的打分、复杂环境中的稠密奖励建模或特定领域的检索，这些任务需要对上下文进行更深入的分析，同时只有有限的特定任务训练数据和计算资源可用。我们将四个现实问题建模为 RiR 任务以建立初步基准，并用它来检验我们的假设：提示冻结的 LLM 和通过梯度下降微调 Transformer 编码器在 RiR 任务上常常都会遇到困难。然后，我们提出了MENTAT，一种结合批次反射提示优化与神经集成学习的简单轻量级方法。MENTAT 相比两种基线方法可实现高达65%的提升，尽管未来仍有很大的改进空间。111数据：https://huggingface.co/datasets/dianetc/rir-paper-data

††cc-许可：by## 1.引言

参见图注图1。在检测推理轨迹中第一个数学错误的回归任务中，微调 NeoBERT 模型会崩溃，而人工设计的提示则表现出粗糙、不精确的预测。MENTAT 的性能说明了 RiR 问题如何从结合深度推理能力与精确数值预测中获益。尽管在将大型语言模型应用于下游问题方面进展迅速，但用于教会 LLM 执行即使标准的自然语言回归任务的轻量级方法仍然出奇地稀缺（Lukasik 等人，2024 (https://arxiv.org/html/2508.21762#bib.bib43)；Lukasik 等人，2025 (https://arxiv.org/html/2508.21762#bib.bib42)；Tang 等人，2024 (https://arxiv.org/html/2508.21762#bib.bib69)；Song 等人，2024 (https://arxiv.org/html/2508.21762#bib.bib65)；Song 和 Bahri，2025 (https://arxiv.org/html/2508.21762#bib.bib64)）。这些任务，如情感分析、语义相似度和文档排序，涉及从自然语言字符串预测分数 y∈R。在这些问题上，对预训练的 Transformer 编码器（如 BERT）应用直接的监督学习，已被证明能与更大的仅解码器 LLM 竞争（Lukasik 等人，2025 (https://arxiv.org/html/2508.21762#bib.bib42)），即使使用复杂的微调方法。

图2。受Su等人（2025）(https://arxiv.org/html/2508.21762#bib.bib68)对检索任务分析的启发，我们将基于文本的回归问题分解为三个非正式的复杂度级别。第1级任务使用简单的基于特征的输入（例如，预测房屋价格时的卧室和浴室数量）。文本到文本的回归在数据集丰富时能达到强大的第1级性能（Akhauri等人，2025 (https://arxiv.org/html/2508.21762#bib.bib3)）。第2级任务需要中等程度的语义理解（情感分析、奖励建模），但对基于预训练 Transformer 的监督学习来说很容易。第3级，即本工作的重点，代表推理密集型回归（RiR），它需要深度的顺序推理。我们研究我们称之为推理密集型回归的一个模糊但不断增长的子集，其中处理每个实例中的文本需要顺序推导或深度分析，而不是浅层的特征识别。与更简单的回归任务不同，RiR 问题需要显式的逐步问题分解或推理，其中系统在做出预测之前产生中间的步骤序列，如 tokens ⟨r1,…,rt⟩∈Σ∗（Merrill 和 Sabharwal，2024 (https://arxiv.org/html/2508.21762#bib.bib49)）。参见图2 (https://arxiv.org/html/2508.21762#S1.F2)，其中受Su等人（2025）(https://arxiv.org/html/2508.21762#bib.bib68)对检索任务的分析启发，将回归问题按复杂度分解为三个级别：基于特征的、语义分析的和推理密集的。

此类应用在研究和实践中都在迅速涌现，例如，为处理客户电话、学生论文、基于评分标准的 LLM 生成或基于指令的查询-文档相关性等临时应用生成分数（MacDonald, 2024 (https://arxiv.org/html/2508.21762#bib.bib46)；Es等人，2024 (https://arxiv.org/html/2508.21762#bib.bib21)；Su等人，2025 (https://arxiv.org/html/2508.21762#bib.bib68)；Thakur等人，2025 (https://arxiv.org/html/2508.21762#bib.bib70)）。与此同时，同样的评分模式也在近期向通用链式思维奖励模型的扩展中得到应用（Kimi Team, 2025 (https://arxiv.org/html/2508.21762#bib.bib35)；Ankner等人，2024 (https://arxiv.org/html/2508.21762#bib.bib5)），但这些通常假设比长尾中更常见的轻量级特定应用环境高出几个数量级的标签和计算量（例如，K2 中数十万个标签）。

我们通过将四个现实任务建模为需要不同程度推理的回归问题，为 RiR 建立了初步基准：预测长数学推导中第一个错误陈述的比例，确定 LLM 能在多大程度上遵循高度复杂的指令，预测一个检索增强生成系统的响应比另一个好多少，以及根据给定主题给学生论文评分。然后，我们指出了下游 RiR 应用的两个实际约束。此类应用通常只提供非常小的训练集，并且限于轻量级计算（LLM 推理、轻量级提示优化和中型网络的微调，如小型 Transformer），这排除了大规模强化学习等方法（DeepSeek-AI, 2025 (https://arxiv.org/html/2508.21762#bib.bib19)；Kimi Team, 2025 (https://arxiv.org/html/2508.21762#bib.bib35)）。

我们提出的问题是：是否存在对数据和计算都高效的、解决临时推理密集型回归问题的有效方法？我们假设，使 RiR 问题特别具有挑战性的原因在于，它们结合了深度分析每个单独任务实例的推理需求，以及从极少数据中学习产生精确、校准良好且排序良好分数的回归挑战。如图1 (https://arxiv.org/html/2508.21762#S1.F1)所示，标准的提示工程技术难以达到学习近似统计分布所需的高精度，而绕过基于 LLM 推理的方法（例如，训练小型 Transformer 编码器）则常常无法真正学习 RiR 问题，反而试图通过找到退化近似（例如，分数坍缩到一个很小的范围）来“破解”回归损失函数。

图3。数学错误检测、指令遵循、成对 RAG 比较和论文评分的真实分数分布（该分布反映了在中心附近更易失败的倾向），以及典型的质性评估所特有的紧密聚集。

我们提出了错误感知提示演进器与神经训练测试（MENTAT），一种结合迭代提示优化与神经回归的简单轻量级方法。MENTAT 不依赖 LLM 直接产生精确的数值预测，而是使用迭代的、错误驱动的提示演进过程。从即使一个非常基础的提示开始，LLM 在大批量数据上分析自身的预测错误，识别其表现不佳的模式，然后基于此优化提示。经过几次迭代后，MENTAT 训练一个简单的聚合 MLP，将来自 LLM 发现的提示的多次展开预测聚合为最终预测。MENTAT 在质量上提供了持续改进，但在我们定义的许多 RiR 设置上仍有很大的提升空间。我们的贡献有三点：

1. (1)问题形式化。我们将推理密集型回归（RiR）形式化为自然语言回归的一个独特子类，将其与基于特征和语义分析的任务区分开来，因为其需要在分数预测前进行显式的多步推理。
2. (2)基准。我们建立了一个包含四个不同推理强度任务的初步 RiR 基准：数学错误检测、指令遵循、成对 RAG 比较和论文评分。我们主张使用一致性相关系数（CCC）作为比 NMSE 更适合 RiR 评估的指标，因为它同时捕捉了排序质量和校准度。
3. (3)方法与分析。我们提出了 MENTAT，一种结合批次反射提示优化与神经集成学习的轻量级方法。通过系统评估，我们证明了单独提示冻结的 LLM 或微调 Transformer 编码器都不足以应对 RiR，而 MENTAT 相比基线可实现高达 65% 的提升，尽管仍有很大的提升空间。

研究的其余部分如下：第2节描述我们如何将四个问题转化为 RiR 任务，第3节介绍 MENTAT。第4节介绍我们的评估方法，包括基线方法的细节和结果。论文在第5节结束，综合我们的发现并讨论对未来研究的影响。相关工作的扩展讨论在附录 A (https://arxiv.org/html/2508.21762#A1)中给出。

2.RiR 基准测试

我们收集了四个推理密集型回归任务，这些任务跨越了不同的推理强度（从成对偏好判断到数学错误定位）和标签分布（双峰、窄分布、紧密聚集）。参见图3 (https://arxiv.org/html/2508.21762#S1.F3)中的数据集分布。我们视这些任务为有代表性而非穷尽性的。

• •数学错误检测需要精确的逻辑推理和逐步分析，同时也强调 LLM 在精确估计简单属性（如文本长度）方面已知的困难。
• •指令遵循评估响应满足一系列细粒度要求的程度，并期望模型产生校准良好的标量判断。
• •成对 RAG 比较要求模型执行细微判断和上下文理解。
• •论文评分作为参考点，需要语义理解，其中像 BERT 这样的编码器在有合理数量的微调数据时可能已经表现良好。

这些任务可以构建为 LLM 即评委评估的实例，实践者已确定二元或粗略评分是规模化的关键瓶颈，发现它“在真实世界的复杂性下崩溃”，因为它隐藏了几乎正确和完全错误响应之间的区别（Sinha等人，2025 (https://arxiv.org/html/2508.21762#bib.bib62)）。RiR 正式化了这一观察：产生校准的连续判断所需的推理超出了粗略分类的要求。下面我们确定评估 RiR 方法的适当指标，并进一步描述上述任务。

回归指标

归一化均方误差（NMSE）是报告回归性能的常用指标：∑in(yi−y^i)2/∑in(yi−y ̄)2，其中 n 是数据集大小，y^i 是预测值，yi 是相应的地面真值，y ̄ 是均值。

但基于距离的指标对于典型的 RiR 问题是不充分的；RiR 系统可以通过避免在极端值上进行“冒险”预测来人为降低其 NMSE。这可以在前面的图1 (https://arxiv.org/html/2508.21762#S1.F1)中看到，特别是在比较微调的 NeoBERT 模型（Breton等人，2025 (https://arxiv.org/html/2508.21762#bib.bib12)）与详细（人工设计）提示时。按照图1 (https://arxiv.org/html/2508.21762#S1.F1)，如果我们依赖 NMSE，GPT-5 的详细提示似乎并不比 NeoBERT（0.81 对 1.01）有显著优势，而对于较弱的 LLM，这种差距甚至会反转。检查预测分布揭示了 NeoBERT 通过学习一个坍缩的分布“破解”了损失函数，而提示的 LLM 实际上显示出正确对输入进行排序的显著迹象。

这可以捕捉到在一致性相关系数（CCC）中，NeoBERT 为0.01，而详细提示为0.69。因此，我们建议将 CCC 作为额外且可能更适合 RiR 的指标。CCC 衡量相关性和一致性，定义为：2ρσyσy^σy2+σy^2+(μy−μy^)2，其中 ρ 是预测值 y^ 和真值 y 之间的皮尔逊相关系数，σy 和 σy^ 是它们各自的标准差，μy 和 μy^ 是它们的均值。CCC 惩罚系统性偏差，并奖励保持分布自然方差的预测。

检测数学错误

我们从 ProcessBench（Zheng等人，2025 (https://arxiv.org/html/2508.21762#bib.bib79)）中提取了一个数据集，用于预测数学解法中第一个错误推理步骤之前的比例，输入是 LaTeX 格式的问题和错误解法。要有效做到这一点，模型必须系统地对数学步骤进行形式化推理。