代理规则必须存在于操作发生的地方

Reddit r/AI_Agents 新闻

摘要

本文主张,人工智能代理的安全规则应作为硬性工作流约束和权限来实现,而非仅依赖提示词指令。文章强调对于敏感或不可逆的操作,需要明确的检查、审批和日志记录。

我认为“代理规则”正成为工作流设计的一部分,而不仅仅是提示词设计。写下“未经批准不得发送”是有益的。但如果代理可以访问工具,更关键的问题是:这条规则在何处落地生效?代理是否缺乏发送权限?工作流在执行外部操作前是否会暂停?它是否展示了将要影响的内容?是否留下了记录?敏感案例是否会路由至审查环节?对于低风险的个人草稿,书面规则可能已足够。但对于外部的、敏感的、不可逆的、公开的或涉及状态变更的操作,我希望规则转化为权限、停止条件、审批触发器、检查点、日志或审查步骤。否则,规则在很大程度上依赖于模型是否能记住它,以及人类能否在事后发现问题。对于真正的代理工作流来说,这显得过于薄弱。
查看原文

相似文章

智能体需要身份标识

Reddit r/AI_Agents

文章认为,当AI智能体在共享工作空间中自主执行操作时,必须为每个操作明确归属到智能体及其负责的人类,以确保监督和信任。没有适当的身份和审计追踪,团队无法安全地将更复杂的任务委托给智能体。