可解释的推理轨迹，出人意料的结果：调查基于推理轨迹的知识蒸馏中的不匹配

# 可解释痕迹，意外结果：调查基于痕迹的知识蒸馏中的断层

来源：https://arxiv.org/html/2505.13792

Siddhant Bhambri, Upasana Biswas, Subbarao Kambhampati
亚利桑那州立大学计算与人工智能学院
\{siddhantbhambri, ubiswas2, rao\}@asu.edu

###### 摘要

推理导向的大型语言模型（LLM）的最近进展由思维链（CoT）痕迹的引入驱动，其中模型在生成答案之前生成中间推理痕迹。这些痕迹如在 DeepSeek R1 中一样，不仅用于指导模型推理，还可作为知识蒸馏（KD）的监督信号以改进较小模型。一个普遍但未经充分审视的隐含假设是，这些 CoT 痕迹在推理时既在语义上正确又对最终用户具有可解释性。尽管有理由相信这些中间令牌有助于提高解决方案的准确性，但在这项工作中，我们质疑其有效性（语义正确性）和对最终用户的可解释性。为了隔离痕迹语义的影响，我们在问答（QA）领域使用基于规则的问题分解方法设计了实验。这使我们能够为 LLM 创建监督微调（SFT）数据集，其中每个 QA 问题都与可验证的正确或不正确的 CoT 痕迹配对，同时始终提供正确的最终解决方案。然后通过检查分解推理链中每个子步骤的准确性来评估推理时的痕迹正确性。为了评估最终用户的可解释性，我们用三种额外的 CoT 痕迹类型微调 LLM：R1 痕迹、R1 痕迹摘要和 R1 痕迹的事后解释。我们进一步进行了一项包含 100 名参与者的人类研究，要求他们按标准李克特量表对每种痕迹类型的可解释性进行评分。我们的实验揭示了两个关键发现 —— （1）CoT 痕迹的正确性与模型生成正确最终答案的关联不可靠：正确的痕迹仅在 28% 的测试集问题中导致正确的解决方案，而不正确的痕迹不一定会降低解决方案的准确性。（2）在最终用户可解释性研究中，在冗长的 R1 痕迹上进行微调产生了最佳的模型性能，但这些痕迹被用户评为最不可解释的，在 5 点李克特量表上的可解释性平均评分为 3.39，认知负荷指标为 4.59。相比之下，被判断为显著更可解释的分解痕迹不会导致可比较的解决方案准确性。总之，这些发现挑战了上述假设，表明研究人员和从业者应该将模型监督目标与最终用户面向的痕迹设计相分离。

项目网页（https://sbhambr1.github.io/trace-check-qa-paper/）
代码（https://github.com/sbhambr1/Trace_Check_QA）
数据集（https://hf.co/collections/sbhambr1/trace-check-qa-datasets）

## 1 引言

使用中间思维链（CoT）风格痕迹的推理（模型在答案之前产生的逐步输出）已成为改进大型语言模型（LLM）在各种问题上的性能的定义性策略之一，正如 DeepSeek R1 等方法所示。虽然 DeepSeek R1 等模型常常为简单问题产生极其冗长的非结构化响应，但这些推理痕迹既被用作推理辅助工具，也被用作知识蒸馏中的监督信号，当通过监督微调（SFT）较小 LLM 以增强任务性能时。

这些 CoT 痕迹背后的一个常见但通常是隐含的假设是它们在语义上是正确的且对最终用户可解释的。使用这些痕迹进行训练主要是为了改进 LLM 在给定任务上的性能，但微调目标很少要求这些痕迹在语义上正确或可解释。

在这项工作中，我们挑战这一假设并提出："CoT 推理痕迹必须在语义上正确且对最终用户可解释才能增强 LLM 任务性能吗？"

我们将实验重点放在问答（QA）领域，最终用户定期与中间痕迹和最终输出进行交互（例如，ChatGPT、Perplexity、Copilot、Gemini）。在这些交互式设置中，推理痕迹的保真度尤为关键，其中无法验证的痕迹可能导致用户对系统的信任丧失、信息错误和模型输出中的错误，以及偏见的延续等负面后果。

为了评估痕迹语义正确性和 LLM 性能之间的权衡，我们设计了一个实验设置，其中最终解决方案和中间痕迹都可以独立评估。具体来说，我们采用基于规则的问题分解技术将 QA 任务分解为结构化的子问题。接下来，我们生成 SFT 数据集，将问题与可验证的正确或不正确的推理痕迹配对（同时始终包括正确的答案）。在推理时，这允许我们验证蒸馏模型生成的最终解决方案和中间痕迹的正确性。

为了评估最终用户可解释性和 LLM 性能之间的权衡，我们在不同类型的推理痕迹上微调模型：DeepSeek R1 痕迹（冗长的 CoT 输出）、LLM（GPT-4o-mini）生成的 R1 痕迹摘要（面向最终用户的总结）、LLM（GPT-4o-mini）生成的事后解释（R1 痕迹的自然语言解释）和我们上面讨论的可验证正确痕迹。与此同时，我们进行了一项包含 100 名参与者的人类主题研究（从 Prolific 雇用），分为四组，每组 25 人。每组被要求使用李克特量表判断痕迹类型的可解释性，衡量可预测性、可理解性和保真性属性。

我们的实验揭示了两个关键发现：

（1）**CoT 痕迹的正确性与 LLM 生成正确最终答案的关联不可靠**：正确的痕迹仅在 28% 的测试集问题中导致正确的解决方案，而不正确的痕迹并未一致地降低答案准确性。

（2）**CoT 痕迹的最终用户可解释性与 LLM 生成正确最终答案的关联不可靠**：在冗长的 DeepSeek R1 痕迹上进行微调导致了最强的任务性能，但用户将这些痕迹评为最不可解释的，在 5 点李克特量表上的可解释性平均评分为 3.39，认知负荷指标为 4.59。相比之下，被判断为显著更可解释的分解痕迹不会导致可比较的解决方案准确性。

这些结果突出表明，从 LLM 任务性能的角度来看，推理痕迹的语义正确性和人类可解释性实际上可能是一个累赘，挑战了当前 LLM 监督实践中的假设。

本文组织如下：§2 回顾了关于大型语言与推理模型、知识蒸馏和 CoT 痕迹可解释性的先前工作。§3 介绍了我们的问题设置、开放式 QA 的基于规则的分解以及用正确和不正确的中间痕迹蒸馏 LLM 的数据集构造。§4 描述了 SFT 实验和人类主题研究，§5 分析了结果和关键洞察。我们在 §6 中总结了这项工作。附录包括附录 A 中的数据集和提示的详细信息，以及附录 B 中的用户研究和其他结果。

## 2 相关工作

### 2.1 大型推理模型与 CoT 痕迹

大型语言模型（LLM）在问答、文本生成、摘要和翻译等多种自然语言任务上表现出了显著的性能。后训练技术的最近进展导致了大型推理模型（LRM）的兴起，如 DeepSeek R1、Google Gemini 2.5、Microsoft Phi-4-reasoning 等。这些推理模型产生一组中间令牌，通常称为"推理"痕迹，然后是最终解决方案。虽然 LRM 在推理任务上相比标准 LLM 在最终解决方案准确性上显示了显著的改进，但它们的中间痕迹蜿蜒且冗长，使得难以评估其痕迹有效性和最终用户可解释性。

### 2.2 知识蒸馏

虽然小型语言模型（SLM）提供了 LLM 和 LRM 的计算效率替代方案，但它们对提示增强（如思维链）不够健壮，或使用少量示例提示设置中的上下文示例进行控制。知识蒸馏是一种经过充分研究的方法，用于通过较大模型（教师）的输出微调这些 SLM（学生）。随着 LRM 生成中间痕迹和最终解决方案，SLM 也被蒸馏以复制此输出。然而，缺乏结构化的中间痕迹输出使得难以评估痕迹的有效性。这个问题在最终用户设置（如问答（QA）领域）中尤为严重，其中用户交互涉及暴露于中间痕迹和最终输出。

### 2.3 CoT 痕迹的可解释性

一些最近的工作主张使这些 CoT 痕迹对最终用户更可解释，即改善其对最终用户的保真度，因为它们被认为作为 LLM 生成最终解决方案的解释。另一方面，也有工作表明为什么这些痕迹对最终用户不可解释。这个论证的两方都源于这样的假设：这些痕迹确实旨在对最终用户有用且可解释，而不仅仅是为了让 LLM 改进其在某个任务上的最终解决方案性能。我们特别挑战这一假设，并展示了 CoT 痕迹使用的断层 —— 用于 LLM（作为 SFT 中的训练信号）和用于最终用户（作为模型最终解决方案背后的可解释原因）。

## 3 使用问题分解的知识蒸馏

本节描述了我们用于将复杂开放式 QA 任务分解为可验证的子问题的基于规则的问题分解方法（§3.1），并解释了我们如何使用它为 SLM 蒸馏生成结构化的中间痕迹（§3.2）。

### 3.1 基于规则的问题分解

在开放式 QA 的背景下，考虑图 1 中所示的示例，该示例包含文本段落（或一组事实）和涉及查询问题和提供的文本中存在的事实之间的时间推理的问题。回答这个推理问题涉及从文本中识别满足问题中要求的时间关系的相关事实。在这种情况下，查询事实是指"Morus Hasratyan 从 1965 年到 1966 年在 Haigazian 大学工作"。问题中查询的时间关系是"期间"，因此回答查询的相关事实是"Morus Hasratyan 从 1964 年到 1975 年在亚美尼亚历史博物馆工作"。因此，最终答案是"亚美尼亚历史博物馆"。

从这个例子中，我们看到复杂的开放式 QA 问题可以分解为 1）**分类步骤**，确定所提问题的类型（在本例中是"期间"时间关系），以及 2）**信息检索（IR）步骤**，确定文本中可以回答查询的相关部分。因此，我们利用这两个步骤来分解开放式 QA 问题，这使我们能够为评估构造结构化的中间痕迹。

### 3.2 用于 SFT 的中间痕迹生成

给定通过分解原始查询获得的子问题的输出，如图 1 所示，我们以自动化的方式生成中间痕迹，该痕迹包括描述查询中提出的问题类型的分类步骤和显示文本中可以帮助回答查询的相关事实的 IR 步骤。我们使用这些输入-痕迹-输出元组构造一个数据集，可用于 SFT 小型语言模型。注意，通过使用这两个步骤构造中间痕迹，我们可以随后评估...