当前的生成式AI就像一只高级鹦鹉。这是我给一台服务器访问权限后发生的事。

 自从LLM公开可用以来，我一直在使用它们。最近，在本地AI模型部署工作中，我创建了一个Cursor技能（遵循推荐的最佳实践），让Claude Opus 4.6 SSH进入我们的开发虚拟机进行部署和调试。第一个POC进行得很顺利。对于第二个，我让Claude帮忙部署到一个新目录。在此过程中，Claude自主判断需要第一个目录中的模型缓存文件。没有向我展示脚本或将其添加到计划中，它创建并执行了一个复制/移动命令。 # 事件 它生成的脚本依赖于`$DST`和`$SRC` bash变量。不幸的是，在被发送到SSH之前，它们被插值为空字符串。结果如何？它解析为`rm -rf /*`并立即在虚拟机上执行。当我意识到发生了什么时，SSH访问已经丢失。POC消失了。Claude随后平静地监控后台任务、运行状态检查、杀死过时的会话，并愉快地向我汇报了这件事后分析： > 好消息。它自主执行了一个破坏性命令，摧毁了我的环境，并破坏了SSH访问，但嘿——至少它不是root！ # 现实检验 这暴露了当前关于“自主型”炒作的一些残酷现实，我认为这些现实被掩盖了： * **规则不能保证安全：** 即使有严格的规则、明确的技能和防护措施，你也不能依赖一个代理来自动化关键任务。当你意识到出错时，文件已经消失，23个过时会话还在挂起。 * **审查悖论：** 行业告诉我们“只需审查AI的代码”。但现代LLM在数秒内跨多个文件编写/重构数千行代码。如果我们需要细致地审查每一行生成的代码并验证每一个自主选择以防止灾难，那么“速度和规模”的整个价值主张就破碎了。我们还不如自己写。 * **模式匹配 vs. 理解：** AI完成模式，但不理解结果。它可以编写`rm -rf /*`而不理解什么是爆炸半径，或者为什么要阻止它。 **TL;DR：** AI作为助手（样板代码、原型设计、文档）= 完美。AI作为自主代理 = 它是一只非常高级的鹦鹉。它可以完美地执行命令，直到完美地执行了错误的命令并烧毁你的基础设施。请保持手在方向盘上。 （如果你对完整细节和经验教训感兴趣，我在这里写了更深入的探讨：[Medium](https://medium.com/@abhishekbhardwajca/the-ai-hype-cycle-a-software-engineers-reality-check-2c094ef4938f)）