AI Agent 审计?
摘要
一位实践者分享了对即将到来的审计可能揭示未记录在生产环境中的AI Agent的担忧,强调了治理缺口以及客户PII访问的风险。
我们大约90天后有一次审计,昨天我的同事试图整理一份在我们生产环境中运行的所有AI Agent的完整列表。三个不同的团队都在LangGraph上推出Agent,另外还有增长团队的一个家伙在Retool中构建了一个支持分类Agent,工程部从未批准过。我们总共数出了9个Agent。我们的内部库存文档上次更新是在二月,列出了4个。其中两个未记录的Agent对同一个包含客户PII的Postgres实例拥有写权限,如果你现在问我上周二哪个Agent修改了某个特定记录,我得联系三个工程师,希望其中有人记得。上一个周期,我们的审计员没有问过一个关于AI系统的问题。这是我第一年看到这种情况。你们在审计中是否也发现了类似的担忧?
相似文章
AI智能体很有趣,直到它们开始接触真实数据
文章探讨了AI智能体与真实公司数据和工具交互时出现的治理挑战,强调了策略执行和审计追踪的必要性,并提到Trust3 AI作为潜在解决方案。
如何让AI代理接触生产数据库而不令人胆战心惊?
一位开发者向社区提问,如何安全地让AI代理与生产数据库交互,重点表达了对SQL注入、数据泄露和缺乏审计追踪的担忧。
在生产环境中让智能体采取真实操作,你最担心的是什么?
一位开发者分享了在部署能够执行真实操作(如API调用和数据操作)的AI智能体时的担忧,并向社区询问他们的恐惧以及诸如护栏和人工审批等缓解策略。
你们当中那些在生产环境中运行AI代理的人——实际上是如何管理它们的权限的?
本文探讨了工程师如何管理生产环境中AI代理的权限,强调了普遍存在的权限过大和缺乏审计追踪的问题。
AI代理被其他AI代理治理,没什么好看的
Cognizant 与 ServiceNow 合作部署 Guardian 代理,用于监控生产环境中的 AI 代理,而 NIST 和欧盟等监管机构仍在制定框架——凸显了 AI 治理中的执行差距。