为某客户运行AI报告生成器几个月后，写作从来都不是最难的环节

我为一位客户构建了AI报告生成器，这位客户每周向他们的客户发送绩效摘要。提取数字、撰写叙述、排版、发送。他们以为价值在于写作，我一开始也这么想。结果那只是容易的10%。困难的90%是模型周边的一切：在智能体（agent）看到数据之前，先把数据整理成干净、可信的样子；处理某个数据源宕机的那一周，报告应该说“我们还没有这个数据”，而不是自信地编造；决定当一个数字看起来异常时该怎么办——因为一份流畅但自信满满出错的报告，比没有报告更糟糕。模型本身，一旦有了干净的输入和固定的结构，几乎就成了最无趣的部分。它负责写段落，没问题。但我们每次严重的失败都发生在写作的上游：一个过时的数字、一个缺失的字段、一个指标的定义变了却没人告诉智能体。我反复学到的教训是：生成智能体本质上是一个穿着语言外衣的数据和验证问题。如果你把所有时间都花在提示词上，而不去管喂给它的数据，你交付的东西读起来很漂亮，却会偶尔在无形中出错。而“无形中出错”是报告唯一不能有的失败模式，因为人们会据此做决策。对于任何在生产环境中运行生成智能体的人，你们把大部分护栏放在哪里？放在上游的数据上，还是放在输出前对结果进行下游检查？