frontier-llms

本文提出了一组指标来评估前沿LLMs在自动化研究中的创造力，聚焦于价值和新颖性，并发现变量级新颖性与研究性能最密切相关。

HarmProfile是一个基准数据集，用于分析前沿LLMs的有害输出，涵盖超过80,000个生成内容，跨23个模型和15个有害类别，以定义模型风险配置文件。

本文介绍了Intern-BioBreaker（一种生物红队模型）和一个计算到物理框架，用于评估前沿LLMs的生物安全风险，发现了广泛的越狱漏洞，并证明模型生成的生物设计可以在物理上实现，强调了需要更强的安全机制。