Deep Interaction：面向大型推理模型的高效人机交互方法

# 高效的大型推理模型人机交互方法 来源：https://arxiv.org/html/2607.14049 何丰舟，张锦轩，楼炯，刘雨欣，卢超超，曲晶晶*，李洁 上海人工智能实验室 上海交通大学 qujingjing@pjlab\.org\.cn ###### 摘要 链式思维（CoT）推理的出现显著增强了大型语言模型（LLM）处理复杂多步骤任务的能力。然而，当错误发生时，当前的交互方式通常涉及重新生成另一个响应，该响应可能再次犯错，或者用户费力地在后续轮次中标出错误步骤，但得到的回复可能是“你说得对，我确实在这里犯了错”，随后类似的错误会反复出现。为了解决这个问题，我们提出了一种高效的人类干预机制，用于精确纠正LLM中的推理错误，称为**深度交互**。我们的方法支持直接编辑原始响应，在保留正确推理步骤的同时纠正错误部分。我们将编辑后的CoT提炼成一个精炼提示，然后引导LLM沿着纠正后的推理路径进行推理。实验结果表明，与基线方法相比，我们的方法在STEM任务推理上的纠正成功率提高了超过25%，并且令牌使用量减少了约40%。 # 深度交互：一种高效的大型推理模型人机交互方法 何丰舟，张锦轩，楼炯，刘雨欣，卢超超，曲晶晶*，李洁 上海人工智能实验室 上海交通大学 qujingjing@pjlab\.org\.cn ## 1 引言 推理增强型大型语言模型（LLM）的出现显著扩展了大型语言模型解决问题的能力，使其能够通过顺序推理分解并处理复杂任务。值得注意的是，最近的迭代版本，如 DeepSeek（Liu et al. 2024 (https://arxiv.org/html/2607.14049#bib.bib37)）、GPT（Achiam et al. 2023 (https://arxiv.org/html/2607.14049#bib.bib1)）和 Qwen（Team 2024 (https://arxiv.org/html/2607.14049#bib.bib63)），已展现出强大的链式思维（CoT）（Wei et al. 2022 (https://arxiv.org/html/2607.14049#bib.bib67)）推理能力，在具有挑战性的基准测试中取得了令人瞩目的表现。这些进展显著提升了模型在复杂推理基准测试上的性能（Chen et al. 2025 (https://arxiv.org/html/2607.14049#bib.bib10)）。然而，尽管取得了这些进步，基础模型在处理需要更深层次理解或超出其训练数据的知识的任务时，仍然表现出明显的局限性（Wu et al. 2024a (https://arxiv.org/html/2607.14049#bib.bib68)；Mirzadeh et al. 2024 (https://arxiv.org/html/2607.14049#bib.bib44)）。在大量的实际测试中，配备CoT的LLM能成功解决一些极其困难的问题。然而，当它们面对需要多个步骤的新问题时，即使问题只是中学水平，它们仍然会生成带有明显错误或完全不符的推理的答案。这凸显了在推理能力和知识基础方面需要进一步改进。 参见标题 图1：一个简单案例展示了基于对话的方法与深度交互之间的不同流程。基于对话的反馈可能使模型停留在错误的推理轨迹上，而深度交互则允许更精细地编辑CoT。 本研究聚焦于复杂推理任务，如大学入学考试和高级学术问题（Jiawei and Wei 2025 (https://arxiv.org/html/2607.14049#bib.bib28)）。虽然当前的LLM在无需外部工具的情况下，在三步或三个概念内的推理上表现出色，但在更长的推理链上仍显吃力。此外，当在后续交互中使用额外知识进行纠正或引导时，这些模型往往无法有效调整其推理路径或遵循新的指令（Li et al. 2024 (https://arxiv.org/html/2607.14049#bib.bib34)）。我们对不同类型问题上的此类失败进行的分析揭示了其在鲁棒性和可控性方面的持续局限性。 ### 对话交互中的指令遵循 用户通常在收到响应后检查其有效性。当在推理链中的特定步骤发现错误时，他们常尝试在后续交互中指出，并引导LLM走向正确的推理路径。然而，模型可能只是承认错误——比如说“你说得对，我在这里犯了错……”，然后在同一个步骤重复相同的错误，并基于那个错误的基础继续推理过程（Xie et al. 2023a (https://arxiv.org/html/2607.14049#bib.bib71)；Greenblatt et al. 2024 (https://arxiv.org/html/2607.14049#bib.bib18)）。这是我们工作的一个关键动机：用户通常投入大量精力去识别和纠正错误，结果却得到类似的错误，这严重削弱了他们对LLM的信任。 ### 对训练问题的记忆 作为生成模型，LLM根据从训练数据中学到的模式预测响应。指令微调使它们看起来更像是交互式助手。然而，当面对训练集中的问题时，它们常常会“记忆”并复述原始答案，即使问题发生了微小的变化（Shojaee et al. 2025 (https://arxiv.org/html/2607.14049#bib.bib58)）。这导致在引入新条件时出现错误。在测试中，我们发现模型可能给出正确的最终答案，但推理步骤错误，或者即使输入值发生变化也重复相同的答案。 ### 其他问题 *   **表演式推理**（Ma et al. 2025 (https://arxiv.org/html/2607.14049#bib.bib41)）。模型可能看似逐步推理，但往往只是拼接来自训练数据的常见“解决方案模板”，缺乏真正的理解。它有时会表现出过度思考，产生过于复杂或不相关的推理步骤，反而阻碍而非支持问题解决（Chen et al. 2024 (https://arxiv.org/html/2607.14049#bib.bib11)）。 *   **思维固化**（Tian et al. 2025 (https://arxiv.org/html/2607.14049#bib.bib64)）。输入或输出中的早期令牌可能将模型锁定在固定的推理路径上，限制其探索替代方案的能力。 *   **KV缓存**（Ge et al. 2023 (https://arxiv.org/html/2607.14049#bib.bib17)）效应。有趣的是，在基于Web的界面上，即使对问题的数字或语义进行了重大更改，模型也可能逐字重复先前的响应，甚至在新对话中也是如此。我们假设这是受到这些界面中KV缓存机制和基于会话的历史记录保留的影响。 为了改善人与LLM的协作，我们提出了深度交互，一种允许用户像文档修订模式一样直接编辑推理步骤的范式。通过利用变更跟踪和语义精炼，该框架精确纠正错误并引导模型逻辑，无需冗长的对话解释。实验结果表明，在具有挑战性的STEM任务上，准确率提高了超过25%，令牌使用量减少了40%。该方法已作为SafeWork-R1（上海人工智能实验室等 2025 (https://arxiv.org/html/2607.14049#bib.bib56)）上的Human-CoT应用模式部署。 ## 2 相关工作 ##### 基于推理的链式思维。 大型语言模型（LLM）的出现代表了向人工通用智能迈进的重要一步。链式思维（CoT）方法源于基于提示的方法（Liu et al. 2023a (https://arxiv.org/html/2607.14049#bib.bib38)；Sahoo et al. 2024 (https://arxiv.org/html/2607.14049#bib.bib55)），其基本原理是遵循预定义的提示模板逐步解决问题（Brown et al. 2020 (https://arxiv.org/html/2607.14049#bib.bib5)；Kojima et al. 2022 (https://arxiv.org/html/2607.14049#bib.bib32)）。自2021年引入CoT概念以来，一系列更先进的方法被提出以进一步增强LLM的能力，例如思维树（ToT）（Yao et al. 2023a (https://arxiv.org/html/2607.14049#bib.bib74)）、思维图（GoT）（Besta et al. 2024 (https://arxiv.org/html/2607.14049#bib.bib4)）、自动推理框架（Zhang et al. 2022 (https://arxiv.org/html/2607.14049#bib.bib79)）和多智能体CoT（MCoT）（Zhang et al. 2023 (https://arxiv.org/html/2607.14049#bib.bib80)；Mitra et al. 2024 (https://arxiv.org/html/2607.14049#bib.bib46)）。OpenAI的o1系列发布标志着基于CoT的推理模型成为商业LLM服务主流方法的关键里程碑。目前，诸如DeepSeek-R1（Guo et al. 2025a (https://arxiv.org/html/2607.14049#bib.bib19)）、Qwen 2.5（Bai et al. 2025 (https://arxiv.org/html/2607.14049#bib.bib3)）和Gemini 2.5（Comanici et al. 2025 (https://arxiv.org/html/2607.14049#bib.bib13)）等模型系列也展现出强大的推理能力，并在复杂任务上表现出令人印象深刻的效果（Rein et al. 2024 (https://arxiv.org/html/2607.14049#bib.bib53)；Aleithan et al. 2024 (https://arxiv.org/html/2607.14049#bib.bib2)；Phan et al. 2025 (https://arxiv.org/html/2607.14049#bib.bib50)）。LLM的基础模型拥有广泛的知识和强大的泛化能力，能解决多种人类任务。为了增强能力，检索增强生成（RAG）、智能体和CoT等技术的开发进一步提升了其在复杂问题上的表现。 ##### 生成内容的纠正。 LLM输出经常遭受幻觉（Ji et al. 2023 (https://arxiv.org/html/2607.14049#bib.bib27)；Huang et al. 2025 (https://arxiv.org/html/2607.14049#bib.bib26)）和事实不准确（Evans et al. 2021 (https://arxiv.org/html/2607.14049#bib.bib15)）的困扰，这推动了验证和纠正方法的研究（Manakul et al. 2023 (https://arxiv.org/html/2607.14049#bib.bib43)；Mishra et al. 2024 (https://arxiv.org/html/2607.14049#bib.bib45)）。一系列工作研究了自我反馈和自我纠正：Self-Refine（Madaan et al. 2023 (https://arxiv.org/html/2607.14049#bib.bib42)）利用同一模型生成的反馈迭代改进输出；RCoT（Xue et al. 2023 (https://arxiv.org/html/2607.14049#bib.bib73)）通过逆转推理链来检测不一致；Mind's Mirror（Liu et al. 2023b (https://arxiv.org/html/2607.14049#bib.bib39)）提炼自我评估和多链推理能力。基于智能体的方法如ReAct（Yao et al. 2023b (https://arxiv.org/html/2607.14049#bib.bib75)）和Reflexion（Shinn et al. 2023 (https://arxiv.org/html/2607.14049#bib.bib57)）进一步将推理与行动、观察或口头反馈记忆相结合。人机循环CoT方法将中间推理暴露给用户以进行检查和指导（Cai et al. 2023a (https://arxiv.org/html/2607.14049#bib.bib7)）。然而，先前的研究表明，LLM自我纠正主要在错误易于检测时才可靠（Huang et al. 2023a (https://arxiv.org/html/2607.14049#bib.bib24)），即使强大的模型也常常无法定位自己的推理错误（Tyen et al. 2023 (https://arxiv.org/html/2607.14049#bib.bib65)；Huang et al. 2023b (https://arxiv.org/html/2607.14049#bib.bib25)）。因此，外部反馈仍然是纠正LLM推理的一个实用方向（Kamoi et al. 2024 (https://arxiv.org/html/2607.14049#bib.bib29)；Saha et al. 2023 (https://arxiv.org/html/2607.14049#bib.bib54)；Wu et al. 2024b (https://arxiv.org/html/2607.14049#bib.bib69)）。与基于对话的反馈或自动自我精炼不同，我们的深度交互允许用户直接编辑错误的CoT片段，同时保留正确的推理步骤。 ## 3 方法论 ##### 整体框架。 当前的对话式纠正往往效率低下；长的对话历史可能导致模型忽略关键信息（Gupta et al. 2024 (https://arxiv.org/html/2607.14049#bib.bib21)），而为了修正错误进行的反复来回对话也很繁琐。从这个角度出发，我们提出了一种允许用户直接编辑LLM输出的修订范式。这种方法消除了通过额外对话来描述错误位置的需要，从而实现更高效、更有针对性的纠正。如图2 (https://arxiv.org/html/2607.14049#S3.F2) 所示，该过程始于用户查询和初始的链式思维（CoT）响应。如果用户在响应中发现明显错误或偏离其偏好的情况，他们可以直接编辑输出——类似于使用文档修订模式。基于文本差异的变更跟踪机制检测修改，并将编辑后的响应分割成若干部分（删除、插入或保留的内容）。然后，每个部分与原始查询一起在上下文中进行处理，然后再重新组合。可选地，一个CoT重新提示器将该内容重新表述为结构化的“Feedback-CoT”，并与原始查询结合，以引导LLM生成纠正后的响应。 参见标题 图2：深度交互：一种用于人机交互的高效人工干预框架。 ### 3.1 带有修订的响应模式 人类引导推理而非直接给出答案——这是我们方法的核心原则。用户纠正包含明显错误或偏离其期望的推理步骤，也可能为后续的推理步骤提供指导。基于这一思想，考虑与一个具有挑战性的查询 \(Q_r\) 进行的第r轮交互。模型的响应由一个CoT推理序列和一个最终答案组成。经用户编辑后，纠正后的CoT记为 \(C'_r\)。因此，人类干预产生了一个精炼的推理路径 \(C'_r\)，而模型保留了在后续步骤中进行详细推导的能力。 \[ C'_r \leftarrow HumanEdit(C_r). \] (1) 理想情况下，LLM应执行逐步推理，在每个阶段暂停以进行确认或修正，然后再继续（即在 \(C_r^{sub}\) 中启用后续推理）。然而，当前的模型架构并未原生支持这种机制，此类行为只能通过拼接的逐步推理来模拟。虽然我们旨在以最少的人类干预实现端到端的问题解决，但一次性生成仍然是目前最实用的解决方案。未来的工作将探索在模型不确定时整合分阶段输出和人类交互。 我们旨在通过将人类修改后的响应纳入下一轮推理中来构建一个反馈驱动的推理机制。然而，直接输入修订后的内容可能会使模型的注意力偏离原始问题 \(Q_r\)，尤其是在长对话中。为了缓解这个问题，我们假设 \(Q_r\) 对先前上下文的依赖较弱，并且所有必要的知识都包含在 \(C_r\) 中，或者由用户编辑添加。因此，新的输入由 \(Q_r\) 和 \(C'_r\) 的联合表示形成，其中 \(C'_r\) 包含所需的先验知识。 \[ Q_{r+1} \leftarrow concat(Q_r, C'_r). \] (2) 最终，生成的新的响应（记为 \(C_{r+1}\) 和 \(A_{r+1}\)）代表了针对原始查询 \(Q_r\) 更新后的推理路径和答案，通过