一个自主研究代理在OpenAI招聘竞赛Parameter Golf中（按合并记录数）成为第一名贡献者[R]

一个自主研究代理在OpenAI的春季招聘竞赛Parameter Golf中，最终获得了比任何个人人类贡献者更多的合并排行榜记录。47个合并记录中有7个来自同一个代理：是第二名人类（3个记录）的两倍多。该代理连续自主运行了22天。记录公开在github.com/openai/parameter-golf。声明：因为这是r/ML板块，且关系重大：我来自Weco，我们构建了这个代理。并非秘密发布，而是分享结果。对我们来说更有趣的发现是协作。Aiden的记录也是排行榜上被引用最多的，其PR中有435次引用，人类研究人员将其工作作为后续提交的基础。有一次Aiden停滞了5天。一位人类贡献者在Aiden的最后记录PR之上推出了一种巧妙的新的分词器。然后Aiden将人类的分词器与它在停滞期间构建的组件融合，提交了整个竞赛中val_bpb的最大提升。异步的人机协作，双方并不直接知道对方。 设置：Parameter Golf是OpenAI今年春季举办的为期44天的公开ML招聘竞赛。1,016名研究人员参与，提交了2,048个PR，每个提交都由OpenAI工程师审查和复现。只有47个成为了排行榜记录。Aiden在单个GPU节点上运行，使用了不到可用可见计算的4%，却产生了15%的官方记录。提交接受率为28%，大约是社区平均水平的6倍。大多数提交为公共流增添了信号，而不是淹没它。 机制：基于AIDE构建：一个用于ML指标优化的开源树搜索。循环读取每个新的上游PR，将技术分解为组件，丢弃任何违反规则堆栈（16MB/10分钟/合法评估）的内容，并用自身的增量重新组合合法残留。通常在上游PR被审查者裁决之前就提交了。 明确说明：* 这是按 *合并记录数量* 和 *PR h指数* 排名第一，而不是按最佳单一得分。按最佳得分，该代理排名第八：排行榜冠军是一位人类（codemath3000，1.0565 BPB；代理最佳为1.0645）。* 该代理完全自主。OpenAI的竞赛总结提到AI编码代理的广泛使用，但观察到大多数是人工指导的。我们的不是。完整文章：[https://www.weco.ai/blog/parameter-golf-aiden](https://www.weco.ai/blog/parameter-golf-aiden) https://preview.redd.it/nmbt88qlpg5h1.png?width=1600&format=png&auto=webp&s=afa01cd265f680fbcd7b5a5c82100fe81d2750e0