我运行着一条无人值守的新闻生产流水线,每天制作三期节目。评估循环才是系统,模型不是。
摘要
一位创作者分享了运行无人值守新闻播客流水线的经验:这套系统在19个月内已制作超过6,000期节目。他强调,阻塞式评估循环、基于Postgres的去重和跨模型审查,比底层模型本身更重要。
大约19个月里做了六千多期节目,差不多每天三期,按六小时间隔运行,人们却总问我用的是哪个模型。这个问题问错了。模型随时可以换。真正防止系统在早上6点、我还在睡觉时发布丢人内容的,是那些检查机制。运行流程是这样的:新闻简报进入邮箱。系统判断话题是否足够做一期节目,撰写脚本,用我克隆的声音制作数字人视频,然后发布视频、博客文章和LinkedIn帖子。每期的推理成本约为3到3.5美元。我的心得是:评估闭环必须能拦截,而不只是汇报。每份输出都要检查是否符合必须具备的行为,以及是否触犯禁止的行为。缺少必需行为,就不发布。事后审核只意味着糟糕的节目已经发出去了。去重靠数据库比靠提示词更有效。用Postgres存储话题,在动笔写任何内容前先查一遍。提示词会漂移,查询不会。用另一个模型交叉审查架构。一个模型写方案和推理过程,另一个模型提出批评,我再把批评反馈回去。我就是这样发现了暴露在外的API密钥。在正确性至关重要的地方使用确定性方法,在其他地方使用概率性方法。缩略图使用生成式图像,品牌元素则通过确定性方式合成。文字排版绝不交给模型。写交接说明,而不是堆积冗长的上下文。把工作拆成小单元,每完成一个就写下交接说明,然后在切换工具前压缩上下文。否则,智能体就会忘记自己一小时前做了什么决定。问题出在哪里:传播。6400期节目,订阅者还不到250人。我造好了机器,却忽略了受众,这正是我现在着手解决的问题。如果有人感兴趣,我很乐意深入介绍这套评估机制。
相似文章
@shmidtqq: https://x.com/shmidtqq/status/2068704187492221405
一份关于AI编程代理循环工程的深入指南,解释了如何构建自动循环来重复提示代理、验证结果并避免失控成本,并通过一位工程师一个月内提交259个拉取请求的案例研究加以说明。
在生产环境中使用定时任务运行智能体一个月:四个出问题的点,无一归咎于模型
作者分享了在生产环境中使用定时任务运行AI智能体一个月时遇到的四个机械故障,强调所有问题都源于设置问题,而非模型缺陷。
@levie: 几乎所有AI模型和智能体的进步都源自评估。针对特定领域的开放权重后训练是……
几乎所有AI模型和智能体的进步都依赖于评估(evals)。通过评估理解工作流程和智能体性能将成为企业推动自动化的核心能力。
运行一个全天候AI智能体开发团队:按角色分配不同LLM(Claude/Kimi/MiniMax/GPT),避免每月约2000美元的API费用。设置与常见故障点。
作者描述了一种设置,将不同的AI模型分配给特定角色(规划、编码、审查),以降低全天候自主工程团队的API成本,并分享了常见的故障点,如模型偏离任务和幻觉式所有权归属。
@ericzakariasson: https://x.com/ericzakariasson/status/2070493377267646797
一份实用指南,介绍如何为AI编码代理设置迭代循环,包括定义的停止条件、云端执行和通知渠道,以便卸载工作而无需持续监控。