AI构建中常出问题的六个地方

我们团队运行AI大约两年了。本以为难点在于模型，但并非如此。早期让我们付出最大代价的问题是上下文。我们有一个系统在做出面向客户的推荐，却无法访问它准确回答所需的具体业务知识。花了太长时间试图在提示层面修复它。上下文层不存在，提示也无法填补这个缺口，它只是让问题变得不那么明显，直到下游某个环节严重失败，才追溯到它。那次失败促使我们找出其他AI构建中结构性而非技术性故障的地方。我们又发现了五个，它们在不同技术栈和不同规模的团队中反复出现，顺序大致相同。第一是身份问题，当从个人AI转向团队AI时，共享上下文如果没有基于角色的权限，要么产生噪音，要么重新制造你原本试图摆脱的知识孤岛。第二是决策记忆，记录下了什么决定与记住为什么做出决定是两回事，这种差距悄无声息地累积，直到新团队成员从系统得到一个自信的错误答案，而该系统引用的是数月前就被放弃的推理。第三是注意力。仪表盘只有有人查看时才起作用，而每个仪表盘的通病都一样：忙碌时关键事项就会漏掉。第四是回写。手动记录是对最忙碌时刻的征税，工作越重要，人们越不可能停下来记录它。第五是治理，当同一个既构建又评估时，这不是检查，而是给自己作业打分的循环。第六是经济学，在个人规模下，AI成本只是四舍五入的误差，但在团队规模下，你会看到一张供应商账单，却无法将支出与具体工作流或成果联系起来。你们遇到过哪些？它们的出现顺序是否如此，还是另有先发的问题？如果你感兴趣，我们将这些整理成了一个包含14个问题的诊断工具。大约需要五分钟，想试试的话，链接在第一条评论里。