我运行着一条无人值守的新闻生产流水线,每天制作三期节目。评估循环才是系统,模型不是。

Reddit r/AI_Agents 工具

摘要

一位创作者分享了运行无人值守新闻播客流水线的经验:这套系统在19个月内已制作超过6,000期节目。他强调,阻塞式评估循环、基于Postgres的去重和跨模型审查,比底层模型本身更重要。

大约19个月里做了六千多期节目,差不多每天三期,按六小时间隔运行,人们却总问我用的是哪个模型。这个问题问错了。模型随时可以换。真正防止系统在早上6点、我还在睡觉时发布丢人内容的,是那些检查机制。运行流程是这样的:新闻简报进入邮箱。系统判断话题是否足够做一期节目,撰写脚本,用我克隆的声音制作数字人视频,然后发布视频、博客文章和LinkedIn帖子。每期的推理成本约为3到3.5美元。我的心得是:评估闭环必须能拦截,而不只是汇报。每份输出都要检查是否符合必须具备的行为,以及是否触犯禁止的行为。缺少必需行为,就不发布。事后审核只意味着糟糕的节目已经发出去了。去重靠数据库比靠提示词更有效。用Postgres存储话题,在动笔写任何内容前先查一遍。提示词会漂移,查询不会。用另一个模型交叉审查架构。一个模型写方案和推理过程,另一个模型提出批评,我再把批评反馈回去。我就是这样发现了暴露在外的API密钥。在正确性至关重要的地方使用确定性方法,在其他地方使用概率性方法。缩略图使用生成式图像,品牌元素则通过确定性方式合成。文字排版绝不交给模型。写交接说明,而不是堆积冗长的上下文。把工作拆成小单元,每完成一个就写下交接说明,然后在切换工具前压缩上下文。否则,智能体就会忘记自己一小时前做了什么决定。问题出在哪里:传播。6400期节目,订阅者还不到250人。我造好了机器,却忽略了受众,这正是我现在着手解决的问题。如果有人感兴趣,我很乐意深入介绍这套评估机制。
查看原文

相似文章

@shmidtqq: https://x.com/shmidtqq/status/2068704187492221405

X AI KOLs Timeline

一份关于AI编程代理循环工程的深入指南,解释了如何构建自动循环来重复提示代理、验证结果并避免失控成本,并通过一位工程师一个月内提交259个拉取请求的案例研究加以说明。