如果权重从未改变,这真的算是递归自我提升吗?

Reddit r/LocalLLaMA 论文

摘要

本文质疑,像AQuA这样拥有持久记忆但模型权重固定的系统是否算递归自我提升,并引用了一篇采用更狭义定义的论文。

https://preview.redd.it/e0ydm43a55kh1.png?width=2902&format=png&auto=webp&s=8c9b88ff5e4157811e8996ba5a1e96cc55c8ae6a 这篇论文中对递归自我提升的定义,比这个术语通常所暗示的要狭义得多。AQuA将经过验证的证据存储在一个持久化的研究状态中,用以影响后续的假设生成。其底层的语言模型和评估器保持不变。即便这种更狭义的说法更接近于增强记忆的研究自动化,而非模型自我重写,我依然认为其主张很有趣。论文并未证实任何权重层面的能力提升。一种通过持久记忆来改善后续研究决策的系统,是否足以被称为递归自我提升?还是说,这个术语应该要求系统底层能力本身发生改变?
查看原文

相似文章

递归自我改进的首个实验证据(3分钟阅读)

TLDR AI

研究人员展示了AIDE²,这是一个具有递归自动研究循环的系统,在超过100次迭代中改进了自己的代码,发现了七项改进,并在保留的基准测试上击败了手动调优的智能体。

未曾保留的进度,无法递归。

Reddit r/artificial

作者认为,递归自我改进尚未形成真正的闭环,因为大多数学到的改进最终都被丢弃,因此将**记忆保留**定位为与**判别**和**晋升**并列的约束条件。该文披露了 **MemT 1.0**——一个将记忆状态融入模型自身计算过程中的 293B 模型,将于 10 月 20 日发布。

AI自我改进的递归临界性

arXiv cs.AI

本文介绍了一种用于递归AI自我改进的模型,定义了一个递归再生数,以确定在开发周期中AI研究的渐进式改进何时变得自我放大或衰减。

递归自我改进的经济学 [pdf]

Hacker News Top

本文探讨了AI系统中递归自我改进的经济激励和动态,分析了此类过程如何扩展及其对治理与安全的影响。