healthbench

Rubricon 是 Handshake AI 推出的一套流水线，无需人工标注或微调，即可自动生成并优化用于大语言模型评估和后训练的判别式评分标准。与以往的合成方法相比，其与专家评分标准的一致性提高了 9%；在训练 Qwen3.5-9B 时，HealthBench 性能提升了 4.5%。

本文介绍了ConRub-Med，一种利用多个语言模型生成的共识评分标准来对开放医学问答进行奖励的强化学习方法，在包括HealthBench-Hard在内的多个基准上取得了最先进的结果。

本文提出POW3R，一种面向策略感知的评分标准奖励框架，用于可验证奖励的强化学习（RLVR）。它表明静态评分标准聚合会错误分配学习信号，而POW3R在多种设置下实现了更快的收敛和更好的性能。