@dair_ai: https://x.com/dair_ai/status/2111862720446202052
摘要
DAIR.AI 汇总本周重点 AI 论文,包括 Anthropic/哈佛/QuEra 用 LLM 与验证器协同发现更优量子电路、上海AI实验室等提出的长上下文文档代理框架 LongHarness,以及斯坦福等的潜在空间混合推理代理。
查看缓存全文
缓存时间: 2026/10/19 15:26
🥇本周最佳 AI 论文
1. 量子线路发现
许多量子算法依赖于少量计算原语,而将这些原语编译为量子线路十分困难,因为计算必须是可逆的。来自 Anthropic、哈佛大学和 QuEra Computing 的研究者将一个提出线路设计的 LLM 与一个独立的评估器配对,由评估器对每个候选线路进行验证和打分。
-
进化搜索: 搜索通过 OpenEvolve 在生成线路的程序上运行,使用 Claude Mythos 5 来提出架构和程序重写。每次搜索从手写的任务规格和空白程序开始,最优设计作为下一轮的种子。
-
经过验证的线路: 评估器在打分前会检查每条线路的正确性,打分依据是 Toffoli 门数量和峰值量子比特数。所有报告的改进都来自通过该检查的线路。
-
结果: 在覆盖数值计算、化学、优化、量子模拟和数论的八个任务中,有七个任务上发现的线路使用的 Toffoli 门和量子比特数均少于已知最优设计,综合成本降低 4.1 倍至 39 倍。对于 Reed-Solomon 解码器,搜索切换到 Berlekamp-Massey 递推公式,将 Toffoli 门数从 510 万降至 44 万。
-
意义: 在第八个任务上,搜索发现了一种用于素数域模逆运算的全新可逆架构,使 divsteps——一种此前在可逆整数运算中不可行的经典算法——变得可用,并改善了 Toffoli-量子比特权衡。作者指出,量子算术中的一些表观开销反映的是现有可逆构造的局限性,而非算法本身的局限。
论文 | 推文
2. LongHarness
在超出上下文窗口的大型文档集合上推理的智能体,通常会将检索到的证据和不断演化的结论混杂在不断增长的交互历史中。来自上海人工智能实验室、复旦大学等机构的研究者提出了 LongHarness——一个面向 1 亿以上 token 语料库、与模型无关的框架,将证据和结论作为显式状态来维护。
-
两种失败模式: 作者识别出无界探索(检索不断扩展历史却未能填补相关信息缺口)和证据状态漂移(早期证据或后期修正无法传递到当前结论)。
-
证据-结论协同演化: 未闭合的结论决定下一步检索什么,每条新证据都会强化或修正提出它的结论。证据生命周期步骤确保累积的证据在整个交互过程中保持最新和可追溯。
-
同一模型,分数大幅提升: 使用 GLM-5.3-Flash,在 OfficeQA Pro 上的精确匹配从直接推理的 15.8% 提升至 V1 上的 60.2%,V2 上从 4.4% 提升至 61.1%。LongHarness 在 V1 上比 Claude Code 高 12.0 分,在 V2 上比 Codex 高 18.9 分,Qwen3.8-Flash 在 V1 上达到 61.7%。
-
意义: 这些提升来自框架本身,骨干模型保持不变。在大型内部语料库上构建长上下文智能体的团队,通过显式管理证据而非依赖不断增长的聊天历史,可以获得显著改进。
论文 | 推文
3. 混合推理智能体
当前的 LLM 智能体在搜索、运行代码或执行动作之前,会将每一步推理都写成文本,这些步骤消耗 token 和时间。来自斯坦福大学、Together AI 等机构的研究者提出了混合推理智能体(Hybrid Reasoning Agents),它们在隐空间中进行内部推理,仅在调用工具或给出答案时才切换到文本。
-
HybridLink: 一个轻量级模块在单次生成过程中在隐空间模式和文本模式之间切换模型。连续工作记忆在多轮之间保留两类上下文,工具调用保持纯文本,隐空间步骤仍可被检查。
-
两阶段训练: HybridSFT 首先教骨干模型在工具集成生成中与 HybridLink 协同工作。HybridRL 接着教模型何时在隐空间中思考,何时通过文本执行动作。
-
结果: 在 3 种模型规模和涵盖数学、科学、医学、搜索及智能体推理的 11 项基准测试中,相比前沿 LLM 智能体和智能体框架(包括基于文本和隐空间的),平均提升 10.4%。14B 模型在智能体推理任务上比最强的智能体基线高出 17.4%。
-
意义: 这些智能体的 token 使用量减少 35.5% 至 54.7%,运行速度快 1.8 至 2.6 倍,成本降低 2.7 至 3.7 倍。研究者此前主要研究无工具的隐空间推理,这项工作展示了如何将其效率与标准工具使用相结合。
论文 | 推文
4. Harness^2
智能体框架的递归自我改进通常依赖验证器,而开放世界任务在测试时是全新的,不存在真值检查器。来自 Google Cloud AI Research 和西北大学的研究者提出了 Harness^2——一个即插即用的框架,通过两个相互关联的递归层次在测试时改进框架。
-
任务级递归: 一个对比式的 Propose-Probe-Compose 步骤为当前任务提出多项框架修改,相互测试,保留效果最好的组合。这在没有真值验证器的情况下可靠地引导修改。
-
框架级递归: 这些修改的经验教训会更新第二个持续改进框架,智能体将其带入未来任务,使改进得以延续而非局限于单个任务。
-
结果: 单步操作在所有测试配置中均使 GLM-5 和 Gemini 3.5 Flash 相比其基础框架有所提升,WorkBuddy-Bench 最多提升 11.5 分,JobBench 提升 4.5 分,LAB 提升 11.8 分。并行运行五个候选修改可在 WorkBuddy-Bench 上额外增加 2.9 至 3.9 分。
-
意义: 同一对比中,作为记忆基线的 ReasoningBank 在编码任务上最多比基础框架低 6.6 分。对于正在迭代自身框架的团队,论文表明即使没有验证器可用,测试时的框架修改也可以随递归预算的增加而扩展。
论文 | 推文
5. 规模化发现需要遗忘
使用编码智能体的自动化研究如今可以在单个问题上运行数天,但搜索往往过早停止改进。来自加州大学伯克利分校、斯坦福大学和 Bespoke Labs 的研究者表明,解决方法是让智能体学会遗忘。
-
平台期: 让单个智能体运行更长时间、并行运行多个智能体、让并行智能体共享候选方案——随着历史的积累,这些方法都会进入平台期。每个智能体锚定在自己的历史尝试上,做出更少、更小的修改,因此额外的预算收益甚微。
-
遗忘: 该方法定期丢弃每个智能体的会话和候选历史,然后从目前找到的最佳候选方案重新启动团队。作者在一个通信智能体团队中实现了这一机制。
-
结果: 在启发式编程、内核优化和模型训练的四项任务中,遗忘相比并行智能体最高可获得 15% 的提升,相比同等预算的单个智能体最高提升 39%。在 Anthropic 的 VLIW 内核任务中,使用遗忘的团队达到 1,077 周期,而四个并行智能体为 1,172 周期,单个智能体为 1,262 周期。
-
意义: 大多数研究型智能体设计都试图保留尽可能多的历史。这篇论文表明,对于开放式发现,智能体能记住什么与其获得多少计算资源同样重要。
论文 | 推文
6. ReHarness
智能体记忆框架通常只向前写入——一条经验教训存入记忆库后,从未回头检查它是否真正有帮助。来自 MIT、Meta 和耶鲁大学的研究者提出了 ReHarness——一个面向智能体持续学习的循环框架,在常规的前向读写之外增加了向后修正。
-
向后修正: 每个任务完成后,ReHarness 将完成的轨迹作为反馈,对检索到的具体反思进行修正和重写。反馈通过文本化框架状态向后流动,类似于循环更新。
-
严格在线: 该方法在流式协议下运行,没有回放缓冲区或验证集。单纯的添加和删除操作虽能保持反思库整洁,却忽略了下游结果,而 ReHarness 根据反思的表现进行修正。
-
结果: 在包含 16 个任务和三种骨干模型的三个持续学习基准测试中,ReHarness 优于原始上下文、记忆、反思和提示优化基线。经过多重比较校正后,提升仍然显著。
-
意义: 在长时间交互流中运行的智能体会面临分布偏移,存储的经验教训可能变得过度泛化或过时。分析表明,ReHarness 产生基于来源的修正,修复此类教训,同时提升稳定性和可塑性。
论文 | 推文
7. 智能体科学家
全自主研究智能体往往思路狭窄,且以短视的爬山方式优化。来自 Sakana AI 的研究者提出了 The Agentic Scientist——一个端到端分布式管线,让人类研究者与现代编码智能体协同开展计算研究。
-
分阶段管线: 系统将项目拆分为任务起草、构思、规划、沙盒实验、基线与消融、分析和报告撰写。每个阶段由一个验证自身工作的编码智能体运行。
-
元控制器: 一个控制器并行管理多个研究智能体,并根据评分标准检查每个阶段。同一编排层可在不同领域复用,涵盖不同的执行环境、编码框架和评估指标。
-
已被录用的论文: 作为协作科学家,该系统的一个开发版本在经过人工验证和编辑后,帮助撰写了一篇被 ALIFE 2026 录用为主会报告的论文。该系统也可以完全自主运行,作者将其应用于多个计算研究领域的开放机器学习问题。
-
意义: 消融实验表明,可靠的科学自主性同时依赖跨智能体编排层和基础模型。对于任何围绕编码智能体构建多智能体系统的人来说,这都是一份有价值的参考。
论文 | 推文
8. GitSwarm
来自 Meta Superintelligence Labs 等机构的研究者构建了 GitSwarm——数百个异步智能体共享一个 Git 仓库,每次贡献都是一个 commit,记录其基于哪些先前 commit(无论在哪个分支),且没有中央规划者分配工作。使用 GPT-5.5 Codex 工作者,它在一次运行中解决了 IMOProofBench-Advanced 的全部 30 个问题,在 ProgramBench 上得分 79.4%,从 100 个工作者的 73.1% 提升到 500 个工作者的 79.4%,而同等预算下单个 Codex 智能体得分为 65.1%。后续工作者基于已发布贡献的 94.7% 进行构建,后续被采纳的工作引用了 70.1% 的失败研究 commit。
论文 | 推文
9. LoGRA
NVIDIA 研究者提出了 LoGRA——一种 RL 后训练方法,在更新模型全部权重的同时,通过将每个权重梯度压缩为每步重绘的低秩草图,并添加预测 KL 步长控制以保持更新在预算内,从而比 LoRA 使用更少内存。在 1.5B 模型上,平均训练内存为 7.2 GiB,而相同 Pass@4 下秩为 256 的 LoRA 为 13.2 GiB;在 7B 模型上,每 GPU 平均训练内存降低 45.7%,同时峰值精度接近全量 Adam。它还能在单个八 GPU 节点上训练 27B 模型超过 1,100 步,而全量 Adam 在此场景下会内存不足。
论文 | 推文
10. AutoEnvScaling
来自微软等机构的研究者将 RL 环境设计交给一个在终端中工作的提出者智能体,该智能体研究被训练模型的 rollout 并据此构建新环境,每轮 rollout 指导下一轮构建。在终端中构建环境使有效环境比例相比仅用提示生成最高提升 25 倍,且每个有效环境的成本最高降低 75%。使用 Qwen3.6-35B-A3B 同时作为提出者和求解者,Terminal-Bench 2.1 从 41.1 提升至 53.3,该管线还为软件工程、计算机操作和 GPU 内核任务生成环境。
论文 | 推文
相似文章
@dair_ai: https://x.com/dair_ai/status/2053495521243799717
DAIR AI 的每周精选汇总了多项重磅研究论文,包括通过内化并行推理提升模型性能的 HeavySkill,以及利用强化学习优化智能体编排的 Sakana AI Conductor。此外,还涵盖了 Meta FAIR 关于自我改进预训练的研究工作。
@dair_ai: https://x.com/dair_ai/status/2058537927823556668
本周(5月18-24日)顶级AI论文综述,涵盖关于代理的code-as-harness调查、OpenAI自主解决单位距离猜想,以及一种无需遗忘的持续学习记忆模型。
@dair_ai: https://x.com/dair_ai/status/2104263416252625124
这篇每周文章总结了顶级AI研究论文,包括用于高效长上下文注意力的HySparse2、用于编码代理中成本效益高的自我改进的SIFT,以及用于通过基于图的世界模型增强机器人规划的GAVEL。
@dair_ai: https://x.com/dair_ai/status/2056018543850754283
一份关于5月11日至17日顶级人工智能论文的综述,涵盖了用于长上下文预训练的Lighthouse Attention、grep与嵌入检索在编码代理中的对比,以及揭示LLMs中几何计算器的机制可解释性工作。
@dair_ai: https://x.com/dair_ai/status/2073814128888549810
本周三篇值得关注的人工智能论文精选:自我改进框架(Red Queen Gödel Machine)、MCP 服务器的设计模式,以及关于编码智能体的强化学习奖励验证研究。