标签
一个以数据为中心的框架，包含五个专门系统，允许小团队训练开放权重的网络代理，在如CyberGym等基准测试套件上实现顶级性能。
LongCounsel-8 作为一个新的基准测试套件，提供数据集来评估基于多会话咨询对话的纵向抑郁追踪，旨在解决数据稀缺问题并推动心理健康人工智能研究。
Bellwethr 正在开发一种开放方法，用于追踪来自高性能模型的单个推理 token 的实际美元成本，目前基准测试套件草案和社区贡献正在进行中。
本文调研了AI在整个研究生命周期中的能力与局限，从创意生成到成果发布，识别出可靠辅助与不可靠自主之间的明确界限。它提供了一个分类体系、基准测试套件、工具清单以及人类主导的AI协作研究设计原则。