CIGPO：用于多轮证据读取LLM智能体的上下文信息增益策略优化

# 基于上下文信息增益策略优化的多轮证据读取LLM智能体

来源: https://arxiv.org/html/2607.16244

###### 摘要

仅使用结果奖励训练多轮证据读取智能体的强化学习是不稳定的，因为中间轮次几乎得不到直接的奖励贡献。在基于 Qwen2.5-3B-Instruct 的 HotpotQA 实验中，GRPO 在初期有所提升（标准 F1 为 0.430），但随后崩溃，输出 100% 格式违规的结果。训练日志诊断揭示了一个零优势锁死机制：所有采样轨迹都获得最低格式惩罚（−2.0），组内相对优势消失，策略梯度损失降至零——形成优化死锁。我们提出一种方差注入策略：通过为中间证据读取轮次分配每轮奖励，防止组奖励分布坍缩为单一值——从而保留 GRPO 的组相对优势所需的方差。上下文信息增益策略优化（CIGPO）使用冻结参考模型对真实答案的对数似然的边际增量作为每轮信号来实现该策略。通过分别归一化信息增益和 F1 奖励，并采用信息增益权重课程，CIGPO 在 3B 规模下的 HotpotQA 上达到了 0.518 的标准 F1（基础为 0.252；提升 105%），而最佳 GRPO 检查点为 0.430，最终 GRPO 检查点为 0.000。CIGPO 在整个训练过程中维持了有意义的奖励方差，并避免了零优势锁死。这些结果将奖励方差坍缩确定为仅结果奖励 GRPO 的一个具体失败模式，并表明在该 HotpotQA 设置下，轮级信息增益奖励可以防止该问题。

## 1 引言

大语言模型（LLM）越来越多地被部署为自主智能体，在多轮交互中与外部工具和知识源协作 [1](https://arxiv.org/html/2607.16244#bib.bib1), [2](https://arxiv.org/html/2607.16244#bib.bib2), [3](https://arxiv.org/html/2607.16244#bib.bib3)。该范式中的一个经典任务是**多轮证据读取**：给定一个问题，智能体决定读取哪些文档，检索证据，并在多轮检索和推理中综合答案。强化学习（RL）是训练此类智能体的自然框架。近期 LLM 强化学习的进展，特别是组相对策略优化（GRPO）[4](https://arxiv.org/html/2607.16244#bib.bib4)，通过优化稀疏结果奖励（例如最终答案正确性）在数学推理和代码生成中取得了令人印象深刻的结果。然而，我们在将 GRPO 应用于多轮证据读取时观察到一个关键的稳定性问题：GRPO 在初期有所提升（在 Qwen2.5-3B-Instruct 上第 50 步标准 F1 达到 0.430），但随后崩溃，到第 150 步时模型退化为 100% 格式违规输出。崩溃点的训练日志显示，评论家分数均值精确收敛到 −2.000，零优势组比例达到 1.0，策略梯度损失精确为 0.000。由此导致的熵损失飙升到 ∼4809，与混乱的高熵输出分布一致，如果没有外部学习信号，模型无法从中恢复。

我们将根本原因识别为多轮 RL 中信用分配问题导致的**优化死锁**：只有当最终轮次获得非零奖励时，中间轮次缺乏学习信号。策略会漂移向退化行为——例如省略必需的 XML 标签或生成混乱输出——这些行为虽然获得最低格式惩罚（−2.0），但当所有组内成员都产生违规时，优势为零。没有组奖励的变化，GRPO 无法提供有意义的梯度，策略陷入无法恢复的死锁。

为解决此问题，我们采用**方差注入**原则：关键要求是确保 GRPO 组内的奖励分布保持非零方差，使得组相对优势不太可能消失。作为一个具体实现，我们提出**上下文信息增益策略优化**（CIGPO）。CIGPO 是 GRPO 的一个轻量扩展，通过**基于参考模型的上下文信息增益**在中间轮次注入方差。信息增益量化每个证据读取轮次对参考模型正确回答置信度的提升程度：  
`r_t^{IG} = log p_ref(y* | q, e_{≤t}) - log p_ref(y* | q, e_block))` 

2. 2. 调用工具读取文档（通过结构化 `Read[block_id]` 动作）
3. 3. 接收证据内容（在 `block` 中）

在最终轮次（或更早，若智能体选择）后，智能体在 `tag` 中生成最终答案。答案基于 Token 级 F1 与真实答案进行评分。在标准的基于 GRPO 的训练中，只有最终轮次的答案 Token 获得非零奖励。所有中间轮次——推理和工具调用决策——获得零奖励。

## 4 CIGPO 方法

CIGPO 用三个专门为多轮信用分配设计的组件扩展了 GRPO。统一原则是方差注入：GRPO 的组相对优势需要组内奖励变化以产生有意义的梯度。当组内所有轨迹获得相同奖励时——例如每个样本都产生格式违规——优势消失，策略得不到学习信号。CIGPO 通过确保中间证据读取轮次携带非零的、多样的奖励来防止这种情况。图 1 对比了 GRPO 和 CIGPO 的奖励结构。

**图 1：CIGPO 训练框架概述**。给定一个问题和一组预索引的证据文档，策略模型（通过带有 IG 增强奖励的 GRPO 训练）在多轮中选择并读取证据块。在每个中间轮次 `t`，上下文信息增益 `Δ_t = log p_ref(y* | q, e_{≤t}) - log p_ref(y* | q, e)` 被计算并作为该轮奖励。最终答案奖励基于 F1 分数。这种结构确保在 GRPO 组内维持奖励方差，防止零优势锁死。

[图 1 的文字描述如上，实际翻译时保留图注]

在标准 GRPO 中，奖励仅为最终答案 F1 加上格式惩罚。CIGPO 为每个中间轮次添加信息增益奖励，确保奖励分布非零方差。

## 6 实验

### 6.4 训练稳定性：GRPO 崩溃分析

为了直观展示崩溃的特征，我们检查 GRPO 最终检查点（步骤 200）的输出。该模型完全忽略 `<think>` 标签并生成混乱输出——省略 `<answer>` 标签，无连贯证据检索，XML 标签未闭合。输出由多语言/脚本的随机 Token 序列组成，代表完全格式崩溃。这种定性崩溃与训练日志诊断（表 6）一致：在此阶段，所有采样轨迹获得 −2.0 格式惩罚，零优势组比例达到 1.0，策略梯度损失为 0.0。基础模型和 CIGPO 都能正确回答此问题（答案：“NCAA” / “Kansas Jayhawks” / “NCAA Division I”）。轨迹（前 300 字符）：  
> `` .capitalizeia small Zheng ... [...多脚本混乱输出...] ``

相比之下，CIGPO 在整个训练过程中保持高检索率（99–100%）和有效格式率（88–96%），正确答案（F1 > 0.5）从 42.1% 增加到 51.3%。

为了进一步从优化器角度描述 GRPO 崩溃，我们检查步骤 200 的训练日志指标。表 6 提供了区分崩溃 GRPO 运行和稳定 CIGPO 训练的关键指标，基于训练期间直接记录的指标。

**表 6：步骤 200 时 GRPO 崩溃的训练日志诊断**。所有值直接取自步骤 200 的 GRPO 3B 训练日志。

训练日志（表 6）确认 GRPO 失败对应零优势锁死。在步骤 200 日志中，`critic/score/mean` 和 `critic/rewards/mean` 均为 −2.000，表明所有采样轨迹都获得最低格式惩罚。由于组成员获得相同奖励，组相对优势消失，如 `critic/advantages/mean=0.000` 和 `zero_advantage_group_ratio=1.000` 所示。策略梯度损失也变为 0.000，表明策略没有收到有效的学习信号来从格式崩溃中恢复。

### 6.5 逐轮信息增益分析

为了验证信息增益奖励是有意义的，我们分析所有 CIGPO 轨迹的累计信息增益值，并按结果分组。表 7 显示结果。

**表 7：按结果分组的累计信息增益（所有 CIGPO 检查点，3972 条已解析轨迹）**。Correct = 标准 F1 > 0.5；Partial = 0 < F1 ≤ 0.5；Wrong = F1 = 0。

结果证实了明显的信息增益差异：正确轨迹的平均累计信息增益（1.174）远高于部分正确（0.491）和错误（0.041）轨迹。这验证了我们的信息增益信号在语义上与正确的证据检索和推理相关——更高的信息增益对应更好的最终答案。

## 致谢

本工作得到了哈尔滨工业大学的支持。

## 参考文献

- [1] S. Yao, J. Zhao, D. Yu, et al. ReAct: Synergizing reasoning and acting in language models. In *ICLR*, 2023.
- [2] T. Schick, J. Dwivedi-Yu, R. Dessì, et al. Toolformer: Language models can teach themselves to use tools. In *NeurIPS*, 2023.
- [3] L. Wang, C. Ma, X. Feng, et al. A survey on large language model based autonomous agents. *Frontiers of Computer Science*, 18(6), 2024.
- [4] Z. Shao, P. Wang, Q. Zhu, et al. DeepSeekMath: Pushing the limits of mathematical reasoning in open language models. *arXiv preprint arXiv:2402.03300*, 2024.
- [5] Z. Yang, P. Qi, S. Zhang, et al. HotpotQA: A dataset for diverse, explainable multi-hop question answering. In *EMNLP*, 2018.
- [6] R. Rafailov, A. Sharma, E. Mitchell, et al. Direct preference optimization: Your language model is secretly a reward model. In *NeurIPS*, 2023.
- [7] J. Schulman, F. Wolski, P. Dhariwal, et al. Proximal policy optimization algorithms. *arXiv preprint arXiv:1707.06347*, 2017.
- [8] L. Ouyang, J. Wu, X. Jiang, et al. Training language models to follow instructions with human feedback. In *NeurIPS*, 2022.
- [9] Y. Bai, S. Kadavath, S. Kundu, et al. Constitutional AI: Harmlessness from AI feedback. *arXiv preprint arXiv:2212.08073*, 2022.
- [10] DeepSeek-AI, D. Guo, D. Yang, et al. DeepSeek-R1: Incentivizing reasoning capability in LLMs via reinforcement learning. *arXiv preprint arXiv:2501.12948*, 2025.
- [11] P. Putta, E. Mills, N. Garg, et al. Agent Q: Advanced reasoning and learning for autonomous AI agents. *arXiv preprint arXiv:2408.07199*, 2024.
- [12] C.-K. Wu, Z. R. Tam, C.-Y. Lin, et al. StreamBench: Towards benchmarking continuous improvement of language agents. *arXiv preprint arXiv:2406.08747*, 2024.
- [13] D. Zhang, S. Zhoubian, Z. Hu, et al. ReST-MCTS*: LLM self-training via process reward guided tree search. *arXiv preprint arXiv:2406.03816*, 2024.
- [14] G. Wang, S. Dai, G. Ye, et al. Information gain-based policy optimization: A simple and effective approach for multi-turn LLM agents. *arXiv preprint arXiv:2510.14967*, 2025.
- [15] B. Settles. Active learning literature survey. Technical report, University of Wisconsin-Madison, 2009.
- [16] Z. Wu, Y. Hu, W. Shi, et al. Fine-grained human feedback gives better rewards for language model training. In *NeurIPS*, 2023.
- [17] H. Lightman, V. Kosaraju, Y. Burda, et al. Let’s verify step by step. *arXiv preprint arXiv:2305.20050*, 2023.
- [18] M. Minsky. Steps toward artificial intelligence. *Proceedings of the IRE*, 49(1):8–30, 1961.
- [19] R. S. Sutton and A. G. Barto. *Reinforcement Learning: An Introduction*. MIT Press, 2nd edition, 2018.
- [20] Qwen, A. Yang, B. Yang, et al. Qwen2.5 technical report. *arXiv preprint arXiv:2412.15115*, 2024.
- [21] W. Kwon, Z. Li, S. Zhuang, et al. Efficient memory management for large language model serving with PagedAttention. In *SOSP*, 2023.