循环是产品,而非模型——本月的两场演讲从相反角度阐述了这一点
摘要
两场演讲和一篇博客文章认为,在生产环境中拥有AI智能时,反馈循环和框架工程比模型权重更重要,并强调了上下文管理和成本考虑。
本月我关注的两件事表达了同样的观点,但我尚未见到有人将它们联系起来。斯坦福大学CS 153的开场讲座(Anjney Midha)认为Anthropic之所以复合增长,是因为一个上下文反馈循环:模型接下来所看到的内容受其刚刚完成的任务影响。红杉资本的《Own Your Intelligence》文章(Sonya Huang,8月19日)认为,通过强大的评测、框架工程、后训练和在线学习,开源模型现在可以在特定领域超越前沿模型。两个方向提出了相同的主张:你拥有的是框架和循环,而非权重。这在受监管的生产循环中意味着什么——我正是在这里运行代理:每轮的上下文都是一个审计产物。如果你无法精确回放代理在第40轮所看到的内容,你就不拥有这个循环。供应商拥有它,事件审查中询问的人也拥有它。对于在生产环境中运行代理的人,一个真诚的问题是:你是否保存了每轮的上下文快照,还是只保存最终记录?如果是每轮保存,这在存储和节省的调试时间上花了多少成本?(来源见第一条评论,根据子版块规则。)
相似文章
@akshay_pachaar: https://x.com/akshay_pachaar/status/2069118430582866051
本文解释了AI代理中的循环工程概念,强调核心循环很简单,但关键工作在于模型周围的“束具”,包括知道何时停止以及防止上下文腐败。
我们处于循环之中
本文讨论了AI模型发布的快速周期,并强调需要持续学习以跟上技术进步。
@aparnadhinak: https://x.com/aparnadhinak/status/2073492320159510869
对AI工程中涌现出的“循环”(loop)多重含义进行深度分析,追踪从2024年6月到AI工程师世界博览会的炒作周期,并映射出四种不同的架构(执行循环、任务循环、产品循环和人机交互循环)。
@AndrewYNg: “循环工程”在Boris Cherny(Claude Code的创建者)和Peter Steinberg等人提及后成为热门流行语…
Andrew Ng讨论了“循环工程”的概念,将其作为构建AI智能体以迭代开发软件的关键方法,并概述了三个主要循环:智能体编码循环、开发者反馈循环和外部反馈循环。
@sydneyrunkle: 这里有个有趣的观点:循环会放大行为,使其成为一把双刃剑,但我们知道循环是未来,所以如何避免放…
关于AI智能体中的循环如何放大有益和有害行为的讨论,强调需要有一个主动参与的人类在循环中,指导智能体学习用户偏好。