“能行动”不等同于“有足够证据行动”

Reddit r/AI_Agents 新闻

摘要

本文区分了AI智能体行动的权限与拥有足够证据来证明行动的合理性,并质疑在智能体系统中,对充足证据的检查应置于何处。

大家都在讨论智能体应该被允许做什么,它能使用什么工具,能访问什么数据,能采取什么行动。但我认为在所有这些之前,有一个问题:它是否真的有足够的证据来行动?一个智能体可能有正确的权限,但仍在使用不完整或不可靠的信息工作。权限并不能使坏信息变得可靠。对我来说,这是不同的事情:权限意味着它被允许行动,证据意味着有足够的信息来证明行动的合理性,执行意味着实际去做。一个系统可能在第一个方面做对了,但仍然做出错误决策,因为第二个方面从未被检查。所以我想知道这个检查应该在哪里进行:是否应该要求智能体本身在证据不足时停止,还是这个决定应该在运行时之外发生?很好奇构建智能体的人们是如何考虑这个问题的。
查看原文

相似文章

行动许可并非等同于行动证据

Reddit r/AI_Agents

本文区分了AI代理行动的许可与证明行动所需的证据,介绍了有机智能协议(OIP)以建立证据边界,并通过最近的一个审计案例研究进行说明。

若人类无法审查操作,批准不等于审查

Reddit r/AI_Agents

本文认为,对于AI智能体操作的批准,若无法详细审查操作的上下文、变更、可逆性及所有权,则这种批准是不充分的,尤其在高风险任务中。