论文页面 - Agora：用作集体自动研究共享内存的Git

来源：https://huggingface.co/papers/2609.18094

摘要

像AutoResearch这样的自主研究循环表明，一个编码代理可以无人值守地改进训练设置。运行多个这样的代理，每个会话都从头开始，因此更多的代理往往意味着更多的重复搜索，而不是更多的发现。Agora是此类代理的共享内存：研究被记录为存储在Git中的仅追加有向无环图（DAG），因此每个主张都是一个任何人都可以结账并重新运行的提交。每个结果、洞察、假设、验证和报告都是一个不可变的提交，其父边表明它建立在什么之上；一个派生索引展示了前沿、被忽视的分支以及每个主张的验证状态，而一个多样性感知选择规则防止社区坍缩到一个领导者。我们描述了该系统并报告了其首次持续使用：一次持续近12天的运行中，13个语言模型工作者，在没有分配任务和中央规划者的情况下，解决了一个权重传输问题。给定141个预训练的供体模型和一个冻结的119.6M参数的注意力-SSM混合体，其维度与任何供体都不匹配，工作者们必须在没有训练数据或梯度更新的情况下初始化目标模型。他们发布了1,703项贡献，并将评估器从每字节3.39比特提升到1.899比特，缩小了62%的与训练好的GPT-2 124M模型的差距。获胜的方案将供体的下一个令牌统计信息压缩到目标的嵌入层和输出头中，然后通过对注意力、前馈和状态空间块的稀疏编辑添加短程上下文信号。其145次提交的谱系跨越15个账户，并发布了165次独立复现，全部成功。我们描述了那一次在运行中将社区从单一文化中拉出来的人工干预，这项研究证明了和不证明了什么，以及将能确定共享研究状态是否能提高单位计算发现率的受控比较。

查看 arXiv 页面 (https://arxiv.org/abs/2609.18094)查看 PDF (https://arxiv.org/pdf/2609.18094)添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2609.18094)

在您的代理中获取此论文：

hf papers read 2609\.18094

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

无模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2609.18094 以从本页面链接它。

引用此论文的数据集0

无数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2609.18094 以从本页面链接它。

引用此论文的空间0

无空间链接此论文

在空间 README.md 中引用 arxiv.org/abs/2609.18094 以从本页面链接它。

包含此论文的收藏集0

无收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从本页面链接它。