我让AI智能体运行我食品公司的日常运营。真正的风险不是糟糕的输出，而是写入权限。

我经营一家小型食品公司的第一个月，都是在使用AI智能体（每个负责一部分工作的小程序），当时我假设风险在于软件把事情搞错。事实并非如此。风险在于一个能读取一切、写入一切的程序。初期，我的智能体拥有广泛的数据库访问权限，因为这样连接起来更快。没有发生什么灾难性的事情，但我注意到，每次我交接一个新任务时都会紧张，因为我无法确定程序能操作什么，而只能查看什么。解决方案很无趣。给每个新系统自己的数据库、自己的表，并把任何离开该沙箱的内容放到一个人工审批队列后面。真实数据只有读取权限。写入权限仅限于它自己的隔离存储。没有人工批准，任何东西都不能出去。软件质量并不是我得到的教训。这些程序现在在实际工作中表现不错，比我一开始预期的要好。真正浪费时间的是没有先考虑边界。事后我花在构建读写墙上的每一个小时，都是本可以用来改进工作本身的。我要反驳的炒作是：认为更聪明的模型能自行消除风险。对我来说，这并不能解决任何问题。真正起作用的是在一切面向外部的操作周围设置一道硬墙。我很好奇，其他用AI运营业务的人是否也得出了同样的规则——读取一切，在自己的沙箱之外不写任何内容——或者发现了更重要的其他边界。