论文页面 - 神经架构的代理式发现：AIRA-Compose 与 AIRA-Design

来源：https://huggingface.co/papers/2605.15871

摘要

AI 智能体通过双重框架自主设计超越标准 Transformer 的基础模型，该框架同时优化架构搜索与机制实现，取得了卓越的性能与效率。

面向递归式自我改进，我们研究如何让 LLM 智能体（https://huggingface.co/papers?q=LLM%20agents）自主设计超越标准 Transformer 的基础模型（https://huggingface.co/papers?q=foundation%20models）。我们提出了一种双重框架方法：AIRA-Compose（https://huggingface.co/papers?q=AIRA-Compose）用于高层架构搜索（https://huggingface.co/papers?q=architecture%20search），AIRA-Design（https://huggingface.co/papers?q=AIRA-Design）用于低层机制实现（https://huggingface.co/papers?q=mechanistic%20implementation）。AIRA-Compose（https://huggingface.co/papers?q=AIRA-Compose）使用 11 个智能体在 24 小时预算内探索基本计算原语。这些智能体评估百万参数级别的候选方案，并将最优设计外推至 350M、1B 和 3B 规模。由此产生两个家族的 14 种架构：AIRAformer（基于 Transformer（https://huggingface.co/papers?q=Transformer-based））和 AIRAhybrid（Transformer-Mamba（https://huggingface.co/papers?q=Transformer-Mamba）混合）。在 1B 规模下预训练后，这些架构持续优于 Llama 3.2 和 Composer 寻找的基线模型。在下游任务（https://huggingface.co/papers?q=downstream%20tasks）中，AIRAformer-D 和 AIRAhybrid-D 相比 Llama 3.2 准确率分别提升 2.4% 和 3.8%。此外，AIRA-Compose（https://huggingface.co/papers?q=AIRA-Compose）找到了具有高效扩展前沿（https://huggingface.co/papers?q=scaling%20frontiers）的模型：AIRAformer-C 的扩展速度比 Llama 3.2 和 Composer 的最佳 Transformer 分别快 54% 和 71%，而 AIRAhybrid-C 比 Nemotron-2 快 23%，比 Composer 的最佳混合架构快 37%。AIRA-Design（https://huggingface.co/papers?q=AIRA-Design）则让 20 个智能体编写新颖的注意力机制（https://huggingface.co/papers?q=attention%20mechanisms）以应对长距离依赖，并编写高性能的训练脚本。在 Long Range Arena（https://huggingface.co/papers?q=Long%20Range%20Arena）基准测试中，智能体设计的架构在文档匹配和文本分类任务上分别达到了人类最先进水平的 2.3% 和 2.6% 以内。在 Autoresearch（https://huggingface.co/papers?q=Autoresearch）基准上，Greedy Opus 4.5 在固定时间预算下实现了 0.968 的验证集每字节比特数（https://huggingface.co/papers?q=bits-per-byte），超越了已发表的最小值。综合来看，这些框架表明 AI 智能体能够自主发现架构和算法优化，达到或超越手工设计的基线。这为发现下一代基础模型（https://huggingface.co/papers?q=foundation%20models）建立了一个强大的范式，标志着向递归式自我改进迈出了清晰的一步。

查看 arXiv 页面（https://arxiv.org/abs/2605.15871）查看 PDF（https://arxiv.org/pdf/2605.15871）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2605.15871）

在您的智能体中获取此论文：

hf papers read 2605\.15871

没有最新 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接到此论文

请在模型的 README.md 中引用 arxiv.org/abs/2605.15871 以在此页面建立链接。

引用此论文的数据集0

没有数据集链接到此论文

请在数据集的 README.md 中引用 arxiv.org/abs/2605.15871 以在此页面建立链接。

引用此论文的 Space0

没有 Space 链接到此论文

请在 Space 的 README.md 中引用 arxiv.org/abs/2605.15871 以在此页面建立链接。

包含此论文的收藏集0

没有收藏集包含此论文

请将此论文添加到一个收藏集（https://huggingface.co/new-collection）中以在此页面建立链接。