运行多模型路由器做真实工作一年后的经验:活下来的七件事,死掉的三件事
摘要
一位实践者分享了运行多模型路由器(起草者、评审者、长上下文搜索器)做真实工作一年的经验:角色分离、验证关卡、带溯源记录的经验文件以及小而热的上下文得以保留,而智能体人设、模型投票和长自主链则彻底失败。
背景:三个模型共享一个接口(一个起草者、一个评审者、一个长上下文搜索器),一份带溯源记录的经验文件,以及一个垃圾回收器——删除30天内未被引用的任何经验。在真实工作中每天运行了大约一年。
活下来的东西:
角色,而非人设。评审者只看失败案例,起草者永远看不到自己的成功。记忆的分离比给智能体起宝可梦式的名字有用得多。
验证关卡。没有任何东西不经检查就离开系统:测试、第二个模型、人工审查。未经检查的模型输出不过是排版漂亮的谣言。
经验文件。每一次失败都变成一条带日期和溯源标签的规则。没有溯源的规则会被 GC 清掉,说实话那个 GC 才是这个系统里最勤奋的员工。
小而热的上下文。常驻 64k,其余内容全部通过检索并引用,从不硬塞。模型不被淹没的时候听得更清楚。
按任务设置温度,而非按模型。抽取用 0.2,起草用 0.7,头脑风暴用 0.9,由人来挑选幸存结果。
死掉的东西:
智能体的名字和人设。第一周还挺可爱,之后就毫无用处。当角色以记忆作用域的形式存在时,名字什么也加不了。
模型之间的投票。三个模型意见一致不是验证,是同辈压力。它们共享相同的失败模式,因为它们都是从同一个互联网上学习的。
超过三步的自主链。失败会级联放大,审计追踪会变得不可读。三步、检查点、继续。
最搞笑的失败:评审者最终开始拒绝一切,不得不给它设定一个配额——每天至少批准一个方案,否则它会把自己优化到死胡同里。这是这些机器做过的最像人类的事。
你现在最小可行的技术栈是什么?一个模型加一个梦想,还是一整张组织架构图?
相似文章
@DeRonin_: 我实际如何在模型之间路由:推文草稿:Sonnet 4.6 长篇文章:Opus 4.6 代码工作:Kimi 2.6 代理…
一位用户分享了他们在不同任务(如推文草稿、文章、代码、代理循环和图像生成)之间使用各种AI模型的个人路由策略,并认为单一模型配置会导致更高成本。
@mckaywrigley:看好模型路由器。相同性能更低成本是显而易见的,但通过创建“更平滑”…
一条推文强调了模型路由器和“模型融合”的前景,提到Not Diamond Code的发布,这是一种面向编码智能体的智能模型路由器,可将成本降低20-65%。
@julien_c: 模型路由是多模型堆栈中缺失的一层。开源模型在编码方面不断进步,路由帮助它们…
Not Diamond Code 是一款面向长期编码代理的智能模型路由器,为每一步选择最佳模型和推理努力,可将成本降低 20-65%。
在生产环境中使用定时任务运行智能体一个月:四个出问题的点,无一归咎于模型
作者分享了在生产环境中使用定时任务运行AI智能体一个月时遇到的四个机械故障,强调所有问题都源于设置问题,而非模型缺陷。
构建智能体让我明白,模型很少是问题所在。你有哪些来之不易的教训?
一位开发者分享了构建AI智能体的来之不易的教训:优先关注工具设计而非模型选择,使用小循环而非大型提示,记录智能体上下文,尽早添加防护措施,以及创建小型评估来捕捉错误。