生产级AI依赖于互联的决策循环

最近我一直在思考一个问题：

自主软件工程目前处于前沿，但我们尚未看到许多达到生产级水平的单人公司以大规模方式运作。也许它们即将出现，也许我低估了这一变化的速度。但感觉在生成软件与大规模运营真实系统之间，仍存在一个重要差距。

前沿模型已经非常擅长生成代码和工具链，能够解决现实中极其困难的任务。

但生产系统需要成百上千个互联的决策，涵盖：

• 架构
• 基础设施
• 安全性
• 可观测性
• 扩展性
• 用户体验
• 数据模型
• LLM 与评估循环

我坚信在这些领域中的许多方面，模型比任何单个专家更出色。但依然需要有人来评估这些决策在整体系统和客户环境下是否真正优秀。

而这需要跨多个领域的专业知识，对任何个人来说都很难完全掌握。这种情况正在催生一种新型组织：人类与AI系统协作，同时持续审计和优化互联的决策循环。我不认为这会淘汰人类。相反，它放大了人类的作用。

我越来越发现，强大的AI成果往往来自这样结合的团队：

• 深厚的领域专长
• 强大的工程判断力
• 围绕Agent的紧密反馈/评估循环

同样有趣的是，编程可能是目前模型获得最多强化学习、评估基础设施和迭代反馈的行业。

即便如此，完全自主的生产级系统仍在逐步涌现。

在法律、金融、医疗等行业，工作流程更加专业化，正确性更难评估，强化学习/评估循环远未成熟，差距甚至更大。

因此，我认为那些深刻理解自身领域的应用型AI公司可能拥有真正的优势。它们更接近专家、工作流程以及训练和优化这些系统所需的评估信号。

模型进步非常快。但我认为人类的决策和评估层仍然比人们预期的更重要。事实上，我怀疑这些系统越强大，高质量的人类判断就越有价值。瓶颈正逐渐从生成转向评估、编排和领域专长。

我的直觉是，这为专家创造了更大的杠杆效应，并且可能催生一场比预期更庞大的、高自主性、高判断力的工作浪潮。我的猜测是，这将推动一个强劲的就业市场。

很好奇大家是如何看待这一点的。