rubrics

AdaPRA 提出了一种用于数据科学智能体的持久化编码框架与过程奖励智能体（PRA），通过自适应评分标准检测并纠正过程错误，使 80B Qwen 模型在 DSPredict 基准上的排名百分位分别提升了 24.5（简单）和 14.8（困难）个百分点。

该论文提出 DiagSafe 诊断式评估框架，用提示级评分标准替代二元安全标签，构建了中英双语、基于 84 类安全分类体系的基准，使大语言模型评判与人工标注的一致性达到 95.34%（科恩 κ 系数为 0.864），并揭示了主流模型在中文与多轮对话场景下的独特漏洞。

Scale AI 与 Data Machines 推出 MA-Bench 基准，通过军事任务分析场景评估语言模型在不完整、矛盾信息下的操作规划判断能力；20 个前沿模型中最佳仅答对 62% 的评分项，最弱环节是需要推断的判断。

本文系统分析了大语言模型评估中评分量规设计的机制，涵盖标准组织、操作化与分数聚合，并提出ARTS-Hybrid方法（自适应树构建+语义优先的响应校准细化），在评估性能和评分量规质量上均有提升，且生成的评分量规可作为模型优化的有效信号。

A Scale AI research paper proposes Rubric Dropout, a dropout-style regularization for rubric criteria in rubric-as-reward RL, showing it mitigates reward hacking and improves out-of-distribution gold judge scores on medical and science benchmarks.

本文介绍了ConRub-Med，一种利用多个语言模型生成的共识评分标准来对开放医学问答进行奖励的强化学习方法，在包括HealthBench-Hard在内的多个基准上取得了最先进的结果。

本文介绍了评分标准作为特权信息（RuPI），通过以评分标准作为软特权信息来条件化教师模型，将同策略自蒸馏扩展到开放式生成。该方法在多个大语言模型和HealthBench等基准上优于评分标准即奖励的强化学习和参考补全蒸馏。

CRAFT将基于评分标准的评估转化为LLM的分层能力诊断，识别特定弱点并生成有针对性的微调数据，在四个开源模型的金融和法律基准上取得了更强结果。

这个开发管道通过先制作粗糙原型引发用户反馈，将每次“不对”的反应转化为可检查的规则，然后由AI代理独立开发并验收，以尽早发现问题并避免自欺欺人。

RubricsTree 提出了一种可扩展且与专家对齐的个人健康智能体评估框架，使用超过100个原子布尔规则，在Gemini、GPT和Qwen模型系列的HealthBench上实现了高达66%的相对提升。

DailyReport 是一个开放式基准，用于评估搜索代理在日常生活搜索任务中的表现，包含150个任务和3,546条评分标准，可实现可解释的、以用户为中心的评估。

Cognition 宣布推出 FrontierCode，这是一个新的代码评估基准，超越了单元测试，衡量代码质量、范围、测试正确性和人类审查者认可度，解决了代理编写通过测试但不可维护的草率代码的问题。

Sydney Runkle announced support for rubrics in deepagents, allowing agents to define a clear definition of done and loop until the goal is complete.

介绍了PReMISE，一个用于发现和审计LLM评估者策略级规则的框架，涵盖四个维度：结构充分性、可靠性、偏好匹配度和对抗鲁棒性。