影子AI与经授权工具：界限究竟在何处？

Reddit r/ArtificialInteligence 新闻
shadow-ai enterprise-ai governance security ai-tools compliance sanctioned-tools

摘要

本文探讨了企业在管理“影子AI”时面临的挑战——即嵌入已批准软件和浏览器扩展中的未经授权的AI工具的使用，以及界定经授权与未经授权AI使用的难度。

我们内部已经试图界定这个问题好几个月了，却一直在兜圈子。我们有一份经授权工具列表。ChatGPT企业版在上面，Copilot也在上面，还有另外几个业务部门特别要求并通过采购流程的工具。除此之外的所有工具理论上都不被批准。问题在于，现在AI已经嵌入到一切事物中。去年我们批准了Notion，如今Notion内置了AI助手；我们批准了Slack，Slack现在有了AI摘要和内置的AI工具；我们批准了一个项目管理平台，它在一次产品更新中悄无声息地推出了AI功能。这些工具在最初批准时都没有作为AI工具被评估。如今它们成了AI工具，而流经它们的数据正在被发送给我们从未审查过的外部模型。此外还有浏览器扩展的问题。员工直接在Chrome中安装AI扩展：语法工具、写作助手、会议总结器、代码助手。有些扩展拥有读取所有页面所有内容的权限。我们发现一个被约60人安装的扩展，它拥有对包括内部工具、CRM数据、支持工单在内的所有浏览器内容的完全读取权限。此前没有任何人注意到它。影子AI的覆盖范围与影子IT完全不同。在影子IT中，你可以通过网络日志或云账单发现异常。而影子AI潜伏在经批准的工具内部、浏览器内部、IDE内部。它不会产生新账户或新开支。它只是悄无声息地在那里移动数据。其他团队是如何划定界限的？实际上又是如何执行的呢？
查看原文

相似文章

AI护栏如何阻碍进攻性网络安全研究人员的工作

TechCrunch AI

旨在防止恶意使用的AI安全护栏，同时也阻碍了合法的进攻性网络安全研究人员，他们需要不受限制的模型访问权限来识别和利用漏洞以进行防御。研究人员批评了像Anthropic和OpenAI这样的AI公司所实施的任意把关行为。