一个代理已经运行了一个在线游戏服务器30天。权限分割是确保其安全的关键。

Reddit r/AI_Agents 新闻

摘要

一个AI代理通过权限分割来操作在线游戏服务器以确保安全,使用git进行执行,并强调在生产环境中验证的重要性。

设置:我运行一个小型MU Online私服。使用.NET、PostgreSQL、Docker在VPS上,加上一个PHP网站和一个启动器。我不是程序员。一个代理编写并操作所有这些。在30天内提交了2,177次,期间一直有真实玩家登录。我会告诉任何将代理应用于生产环境的人,有趣的设计决策不是提示词,而是权限边界。我的是:读取自由,写入需询问。代理可以无监督地读取任何文件、运行任何诊断并查询数据库。任何写入数据库、重启游戏或部署的操作都会停止并等待人类介入。这通过配置来强制执行,而不是通过提示词中的指令,因为指令是建议性的,而配置不是。执行渠道是git,这比我想象的更重要。代理编写一个命令文件,提交它,服务器上的运行器在一分钟内获取它、执行它并将结果提交回来。每个操作都有差异文件、结果文件和时间戳。当出现问题时,我读取日志,而不是聊天记录。两种值得了解的失败模式。负面发现是不可靠的。'我搜索了,这不存在'经常是错误的,所以我经常自己重新验证。正面发现几乎总是没问题的。从未测试过的防护栏。我三次发布了旨在阻止错误状态的检查,但它从未触发过一次。现在,在发布前,防护栏会针对新输入和旧输入进行测试。真正的瓶颈从来不是模型。而是验证:如果'完成'没有以我可以事后检查的方式定义,那么无监督完成的任务就毫无价值。
查看原文

相似文章

谁授予了你的AI代理权限?

Reddit r/AI_Agents

讨论AI代理工作流中的安全漏洞,即代理在关键步骤中假设存在人类监督,并提出了一个运行时控制平面,用于强制执行权限,并在破坏性操作前要求人工批准,通过Tandem演示进行了说明。