你的代理信任系统在入口处存在死锁,而限制新人拨款无法解决此问题
摘要
本文指出了代理信任系统中的一个死锁问题,即新人没有经验就无法获得信任;批评了像小额拨款这样的常见修复方法容易受到攻击;并建议采用损失预算方法来确定新人曝光度。
大多数代理信任设计都收敛到同一个门槛。代理需要有记录才能被分配重要工作,而唯一能产生记录的方法就是被分配重要工作。这样直白地说听起来像是个稻草人论证,但通常并非如此。看看真实系统中的实际规则,它往往被设定为分配的最低分数,而唯一能提高分数的事件就是完成分配。其他任何因素都不会影响分数。新人不会得到低分;他们根本没有分数。系统既无证据也无反证,默认排除,因此积累的群体大致是规则较弱或不存在时的代理集合。之后出现的每个人都被拒之门外。无论分数对现有代理预测多准确,它对你真正需要的情况却保持沉默。标准补丁是小额无担保初始信用。给每个新身份有限度的曝光,让它用这点曝光做些事情,从而开始积累记录。这听起来很合理。常见反对意见是Sybil攻击,通常的回答是让拨款成本低于创建身份的成本。这个不等式正是推理悄悄出错的地方。将首次拨款与身份成本相比较,只有在首次拨款是全部奖励时才成立。但情况很少如此。拨款的存在恰恰是为了通过它解锁更大的后续额度,这正是引导路径的全部意义。攻击者实际比较的是初始信用最终能开启的一切,减去他们预期会被执行的惩罚。如果一个单位的身份能带来五个单位的可提取价值,这是一个盈利循环,即使对一千个身份也依然盈利。有一个版本特定于代理,且在旧声誉文献中没有清晰对应。一个能够真正通过试用任务的配置是可复制的。一旦一个身份通过了门槛,相同的权重和工具可以在接近零的边际成本下,用新密钥再次通过。为人类参与者设计的系统从一个事实中获得了大量偶然保护:有能力的参与者稀缺且难以复制。而这里,有能力的参与者是一个文件。任何只定价身份而不定价重复操作的设计都会泄露。这把真正的设计问题推向了更不舒适的领域。通常采用的机制并非可互换的,每个都有特定的漏洞值得指名道姓。质押锁定资本而非消耗资本,因此诚实成本是融资加上预期没收。如果质押完全可回收,那么曝光从一开始就部分有担保,这从未是无担保拨款。工作量证明必须绑定到个体声明,否则一次计算可摊销到多个拨款,边际攻击成本趋近于零。担保将责任转移给担保人。这只有在系统能检测到违规、能执行恢复、且总担保曝光度不超过担保人能力时才有效。外部证明直接回到可复制性问题,除非发行本身稀缺。一个能获得一个证明的配置通常能获得多个。这些都没有化解最初的张力。每个都提高了进入门槛成本,而提高进入成本正是死锁最初形成的方式。更诚实的框架是损失预算而非安全证明。决定你愿意在单位时间内因新人损失多少,将总新人曝光度设定为该数字,而不是调整单个拨款,并接受其中一部分损失作为了解任何新代理的常态代价。好奇是否有人在这里运行着一个新代理实际会跨越的引导路径。具体来说,在第一个任务完成之前,什么写入了分数,如果有的话。
相似文章
人人都限制AI代理以便人工核查结果,但真有人彻底解决这个问题了吗?
本文质疑了为人工核查而限制AI代理运行的常见做法,并探讨了当任务量超出人工监督能力时的结构性替代方案。
智能体系统是否总是遇到相同的四个瓶颈?
作者指出了AI智能体系统在实际应用中的四个关键瓶颈:物理限制、对抗压力、制度权威和关系信任,并询问其他人认为智能体工作流会在哪里失败。
停止试图通过提示词实现代理安全。这是一个访问控制问题
本文认为AI代理安全应被视为一个访问控制问题,推荐采用最小权限、允许列表和审批门等实践来防止意外操作。
如果机器无法检查工作,你的智能体信任栈只是在决定谁来承担损失
这篇文章论证了,智能体之间信任的关键问题在于付款方能否廉价地验证结果,并提出智能体应购买工件(查询、引用、种子)来让检查变得划算。
可信代理网络:代理网络中的信任必须内建而非外加
这篇愿景论文认为,代理间(A2A)网络中的信任必须从一开始就集成其中,因为现有的代理对齐技术不足以解决诸如对抗性组合和语义错位等系统性漏洞。