标签
FrontierCS 2 推出了一项包含 48 个开放式计算机科学研发任务的基准测试，将大语言模型智能体置于真实的研究代码仓库中，并使用隐藏的评估套件进行测试；表现最好的智能体 Claude Opus 5.5 也仅在约 58% 的运行中通过测试。
华为 openJiuwen 团队提出 Reward Engine，通过构建由测试用例和评分细则组成的冻结 RewardPack，为开放式工具智能体提供证据驱动的奖励信号，用于自修订与强化学习，在 WorkBuddy Bench Office 和 Claw-Eval 上显著提升通过一致性。
本文系统分析了大语言模型评估中评分量规设计的机制，涵盖标准组织、操作化与分数聚合，并提出ARTS-Hybrid方法（自适应树构建+语义优先的响应校准细化），在评估性能和评分量规质量上均有提升，且生成的评分量规可作为模型优化的有效信号。
该论文提出Station——一个多智能体开源环境，用于评估AI代理进行开放式科学发现的能力。通过添加Supervisor和Meta Reflection机制，Station在重现ICLR oral论文发现的基准上平均达到62.7%，显著超越Codex Multiagent-v2（15.4%）和AI Scientist-v2（14.4-20.6%）。
本文引入Elo每令牌分析来研究LLM智能体如何分配测试时计算资源，揭示智能体最初优于独立采样但随时间减速，并行会话提供性能提升。
Zero-WAM 是一个因果视频-动作模型，通过基于上下文的人类视频指导，实现对未见过任务的零样本机器人操作，并利用 HumanGen 数据集和未来块预测目标来提高泛化能力。
本文分析了三年来LLM的输出，使用开放式任务和创造力评估，发现多样性在统计上显著下降，这表明创造性内容在不同模型间趋于一致，这可能会削弱人类在协作创意工作中的自主性。
一项析因实验表明，角色细节并不会单调增加LLM观点多样性；不同的交互架构探索了互不重叠的观点区域；而温度缩放等低成本干预措施效果甚微。
提出了CriPO，一种通过同策略自蒸馏增强LLM的基于量规的强化学习的方法，解决了未探索标准和受抑制标准的问题。在医学和科学基准上的实验表明，在优化步骤约减少一半的情况下，获得了更强的最终性能。
本文介绍了体验式学习（EL）方法，该方法将LLM-as-a-Judge重新用于LLM-as-a-Coach，以提供丰富的文本反馈而非标量奖励，从而提升在开放式非可验证任务上的表现和泛化能力。
VIBE是一个框架，通过使用人类录制的语音进行开放式任务来评估大型音频语言模型中的生成偏差，揭示了由性别和口音线索触发的系统性偏差。
本文提出了一种提示级奖励规范框架，将奖励规范与计算分离，离线构建可重用的任务适应评分准则和可执行约束检查器，为开放端后训练生成混合奖励，无需人工标注或单独的奖励模型。
SCOPE是一个用于开放式任务的自我对弈框架，它共同进化挑战者（Challenger）和求解器（Solver）策略，在没有外部监督的情况下，在基准测试上取得了高达+10.4分的提升。
ARES提出了一种框架，能够从预训练文档中自动构建基于评估标准的强化学习数据，生成问答对和加权评估标准，从而为开放式的LLM回答提供实例级别的奖励监督，在多维开放式任务上优于现有方法。
本文提出POW3R，一种面向策略感知的评分标准奖励框架，用于可验证奖励的强化学习（RLVR）。它表明静态评分标准聚合会错误分配学习信号，而POW3R在多种设置下实现了更快的收敛和更好的性能。
康奈尔研究者提出 POP 自博弈框架，让大模型自行生成评分规则与训练样本，在医疗问答、创意写作、指令遵循等开放式任务上提升 Qwen-2.5-7B，无需人工标注。