evaluations

Miles Brundage 强调了AI安全研究所出色的工作，该工作研究了测试时计算预算对前沿AI模型评估的影响，并获得了Noam Brown的称赞。

这条推文总结了一篇关于为AI智能体构建复杂网络安全评估的详细文章中的关键要点，涵盖了长期任务、源基准、不同难度级别、结果验证挑战以及基于问答的进度测试。

本文认为，缺乏适当评估的AI代理尚不能成为可行的产品，强调了在AI开发中进行严格测试和基准测试的必要性。

总结了与CAISconf上顶尖AI研究员对话中的三个关键要点，涵盖评估对AI智能体的重要性、工业界与学术界的权衡，以及一种新颖的教学式强化学习方法。

本文表明，在智能体AI控制评估中，允许攻击者策略性地选择攻击时机（攻击选择）会显著降低测量到的安全性，这意味着当前评估可能高估了对选择性攻击者的安全性。

讨论了通过难度、质量和多样性细化来演进AI评估基准的必要性，并引用MMLU-Pro、MMLU-Redux、BIG-Bench Extra Hard、RealMath、MathArena和DatBench等示例。

一位开发者寻求推荐用于追踪、评估和调试代理工作流的开源替代LangSmith方案，并指出其付费墙限制。

Arize Phoenix宣布在AI Engineer: Europe会议上举办免费的两小时评估工作坊，由开发者关系主管Laurie Voss主讲，内容包括手动数据检查以及内置与自定义评估。

Anthropic将推出一项500万美元的资助计划，以资助独立研究开发用于评估AI对用户幸福感影响的开源评估工具。