论文页面 - S3AC：用于大语言模型推理的稳定、选择性且可扩展的演员-评论家方法

来源：https://huggingface.co/papers/2610.35518

摘要

S3AC 引入了一种稳定的演员-评论家训练方法，结合难度感知提示采样，无需依赖分组 rollout 即可提升大语言模型的长程推理能力。

在用于长思维链 (CoT) 推理的可验证奖励强化学习 (https://huggingface.co/papers?q=reinforcement%20learning%20with%20verifiable%20rewards)(RLVR) 中，无评论家方法被广泛采用，以避免困难且昂贵的评论家训练。常见的替代方法缺乏词元级信用分配 (https://huggingface.co/papers?q=token-level%20credit%20assignment)，且通常依赖分组 rollout 来估计特定提示的基线。评论家可以解决这两个局限，但长思维链的评论家训练受到两方面阻碍：对不同长度轨迹的覆盖不足，以及早期梯度被新初始化的价值头 (https://huggingface.co/papers?q=value%20head) 主导。我们提出用于大语言模型推理的 S3AC（稳定、选择性且可扩展的演员-评论家 (https://huggingface.co/papers?q=Actor-Critic)），其核心是一套实用的评论家训练方案。训练后的评论家提供词元特定的优势值和提示特定的基线。利用提示级基线估计难度，我们提出了难度感知提示采样 (https://huggingface.co/papers?q=Difficulty-Aware%20Prompt%20Sampling)(DAPS)。DAPS 将这一估计与历史结果相结合，在生成前选择提示，无需离线难度初始化即可减少 rollout 浪费。S3AC 在参数量从 1.5B 到 397B 的稠密模型和混合专家 (https://huggingface.co/papers?q=mixture-of-experts)模型上均提升了分组 rollout 的性能，优于一种现代 GRPO (https://huggingface.co/papers?q=GRPO) 变体 (GRPO (https://huggingface.co/papers?q=GRPO)-X)。在 35B 参数规模下，它能够持续进行单次 rollout 训练，而受测的无评论家基线在初期取得提升后性能出现下降。

查看 arXiv 页面 (https://arxiv.org/abs/2610.35518)查看 PDF (https://arxiv.org/pdf/2610.35518)GitHub5.22k (https://github.com/InternLM/xtuner)添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2610.35518)

在你的智能体中获取这篇论文：

hf papers read 2610\.35518

没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

没有模型链接到这篇论文

在模型的 README.md 中引用 arxiv.org/abs/2610.35518，即可从本页面链接到该模型。

引用这篇论文的数据集0

没有数据集链接到这篇论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.35518，即可从本页面链接到该数据集。

引用这篇论文的 Space0

没有 Space 链接到这篇论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.35518，即可从本页面链接到该 Space。

包含这篇论文的收藏集0

没有收藏集包含这篇论文

将这篇论文添加到收藏集 (https://huggingface.co/new-collection)，即可从本页面链接到该收藏集。