标签
讨论了一篇来自清华大学/智谱AI的关于异步强化学习用于智能体的新论文,并指出他们之前的GLM-5.2模型使用了评论家而不是GRPO。
GLM5.2 重新引入了一个评判器组件,用于细粒度的方差缩减,这表明基于组的方法在长视界下是无效的。作者认为 OpenAI 和 Anthropic 已经在使用价值模型。