运行多模型路由器做真实工作一年后的经验:活下来的七件事,死掉的三件事

Reddit r/artificial 新闻

摘要

一位实践者分享了运行多模型路由器(起草者、评审者、长上下文搜索器)做真实工作一年的经验:角色分离、验证关卡、带溯源记录的经验文件以及小而热的上下文得以保留,而智能体人设、模型投票和长自主链则彻底失败。

背景:三个模型共享一个接口(一个起草者、一个评审者、一个长上下文搜索器),一份带溯源记录的经验文件,以及一个垃圾回收器——删除30天内未被引用的任何经验。在真实工作中每天运行了大约一年。 活下来的东西: 角色,而非人设。评审者只看失败案例,起草者永远看不到自己的成功。记忆的分离比给智能体起宝可梦式的名字有用得多。 验证关卡。没有任何东西不经检查就离开系统:测试、第二个模型、人工审查。未经检查的模型输出不过是排版漂亮的谣言。 经验文件。每一次失败都变成一条带日期和溯源标签的规则。没有溯源的规则会被 GC 清掉,说实话那个 GC 才是这个系统里最勤奋的员工。 小而热的上下文。常驻 64k,其余内容全部通过检索并引用,从不硬塞。模型不被淹没的时候听得更清楚。 按任务设置温度,而非按模型。抽取用 0.2,起草用 0.7,头脑风暴用 0.9,由人来挑选幸存结果。 死掉的东西: 智能体的名字和人设。第一周还挺可爱,之后就毫无用处。当角色以记忆作用域的形式存在时,名字什么也加不了。 模型之间的投票。三个模型意见一致不是验证,是同辈压力。它们共享相同的失败模式,因为它们都是从同一个互联网上学习的。 超过三步的自主链。失败会级联放大,审计追踪会变得不可读。三步、检查点、继续。 最搞笑的失败:评审者最终开始拒绝一切,不得不给它设定一个配额——每天至少批准一个方案,否则它会把自己优化到死胡同里。这是这些机器做过的最像人类的事。 你现在最小可行的技术栈是什么?一个模型加一个梦想,还是一整张组织架构图?
查看原文

相似文章