“能行动”不等同于“有足够证据行动”
摘要
本文区分了AI智能体行动的权限与拥有足够证据来证明行动的合理性,并质疑在智能体系统中,对充足证据的检查应置于何处。
大家都在讨论智能体应该被允许做什么,它能使用什么工具,能访问什么数据,能采取什么行动。但我认为在所有这些之前,有一个问题:它是否真的有足够的证据来行动?一个智能体可能有正确的权限,但仍在使用不完整或不可靠的信息工作。权限并不能使坏信息变得可靠。对我来说,这是不同的事情:权限意味着它被允许行动,证据意味着有足够的信息来证明行动的合理性,执行意味着实际去做。一个系统可能在第一个方面做对了,但仍然做出错误决策,因为第二个方面从未被检查。所以我想知道这个检查应该在哪里进行:是否应该要求智能体本身在证据不足时停止,还是这个决定应该在运行时之外发生?很好奇构建智能体的人们是如何考虑这个问题的。
相似文章
行动许可并非等同于行动证据
本文区分了AI代理行动的许可与证明行动所需的证据,介绍了有机智能协议(OIP)以建立证据边界,并通过最近的一个审计案例研究进行说明。
今天,如果有人要求你证明一个AI代理确实被授权执行某个操作,你会展示什么?
本文探讨了证明AI代理执行操作授权的挑战,强调仅凭凭证是不够的,授权必须是执行前的、基于策略的,并且可验证。
你如何真正知道你的 AI 代理做了它所说的事?
本文讨论了验证 AI 代理行为的挑战,并倡导使用不可变的收据来确保信任,并区分错误决策和不存在的决策。
如果最佳的AI智能体,正是那个知道什么时候不该做什么的AI呢?
本文探讨了AI代理懂得何时不采取行动的重要性,认为对自主性的更好判断可能是其未来实用性的关键。
若人类无法审查操作,批准不等于审查
本文认为,对于AI智能体操作的批准,若无法详细审查操作的上下文、变更、可逆性及所有权,则这种批准是不充分的,尤其在高风险任务中。