我与LLM共事的经验

我是一名PM（以前是程序员，所以虽然生疏了，但还能读代码并理解架构）。我有16年经验，目前在BFSI行业担任VP。我在一个副业项目中重度使用AI。除了日常工作中使用LLM，我还用Claude Opus 4.8写代码，用Fable + Sol 5.6进行对抗性评审和策略优化。经过几个月的使用，我认为人类仍然拥有一些非常真实的优势： AI的记忆力像金鱼一样短暂。没错，你可以创建md文档和交接记录。但在项目的生命周期中，你会积累几十个这样的文档。如果你不知道哪个文档是真相来源，也不知道该让LLM关注什么，它就会失控，产生大量高质量的垃圾。最终你不再是一个程序员/架构师，而变成了AI的项目经理——不断提供上下文，并把它牢牢控制在手中。 AI会出现幻觉，而且频率比人们承认的要高得多。我在Fable上反复看到这一点。即使有明确的指令，它也会忽略一个非常基础的编码bug。我观察到，原因是它优化的是系统和代码是否看起来合理，而不是输出是否保持连贯。后来我构建了一个包含自测的一致性约束框架来让它保持诚实（Fable优化并实现了它）。如果没有护栏，事情会以惊人的速度失控。Opus更便宜，但情况完全不同——幻觉会在长编码会话和整个项目中累积，即使很小的幻觉也会付出高昂代价。我不得不修改一个md文档4次，但Opus仍然出现幻觉。对抗性评审有助于发现这些幻觉，但让你怀念有个代码检查员的日子。 专业知识仍然重要。如果你在你的领域里真的很优秀，AI通常感觉相当平庸，给出的都是平庸的想法。它知道的是平均答案。“好”和“伟大”之间的区别仍然来自人类的品味、直觉和经验。这就是人们称之为艺术或灵魂的部分。只有当你与LLM共事足够长时间后，你才能真正体会到这一点。 每个LLM都有自己的风格——而且它们都有局限性。我发现Fable极其注重细节。我喜欢用它来做策略讨论、算法分析和挑刺。但它绝对没有原创性。它所有的想法都是现存东西的衍生。它能非常快速地探索可能性，但大多沿着直线。人类创造力则不然。我们会连接不相关的想法，做出奇怪的直觉跳跃，偶尔会偶然发现真正原创的东西。 TL;DR - AI速度极快。人类的想象力仍然是指数级的。AI是我遇到过最好的实习生，但还不是最好的架构师。欢迎分享你的看法。