NCSC警告:影子AI可暴露数据和代理权限
摘要
英国国家网络安全中心(NCSC)警告,员工使用未经批准的AI工具可能泄露数据并危及安全,建议组织提供更安全的替代方案,而不是全面禁止AI。
英国国家网络安全中心(NCSC)表示,员工使用组织批准系统之外的AI工具可能暴露公司或客户数据,并降低组织对这些信息的可见性和控制力。它引用研究称,71%的员工使用雇主未批准的AI工具。NCSC还警告,AI代理增加另一重风险:如果代理存在漏洞或配置不当,攻击者可能获取代理可访问的相同数据、服务和权限。实际要点不是‘禁止AI’,而是‘使批准路径可用’。NCSC建议团队应理解人们为何使用影子AI,提供更安全的替代方案,并降低风险,而不是假设它会消失。来源:https://www.ncsc.gov.uk/blogs/the-hidden-risks-of-shadow-ai https://ukstories.microsoft.com/features/rise-in-shadow-ai-tools-raising-security-concerns-for-uk/
相似文章
影子AI与经授权工具:界限究竟在何处?
本文探讨了企业在管理“影子AI”时面临的挑战——即嵌入已批准软件和浏览器扩展中的未经授权的AI工具的使用,以及界定经授权与未经授权AI使用的难度。
英国网络安全机构告诫所有使用AI代理的公司必须设立终止开关,并承认模型安全训练可能被绕过
英国国家网络安全中心发布了保护智能AI的指南,强调外部遏制措施如终止开关的必要性,因为模型安全训练可能被绕过。
NSA警告:驱动自动化的AI协议MCP存在网络风险
美国国家安全局发布了新的安全指南,警告组织注意与模型上下文协议(MCP)相关的网络风险,该协议是一种广泛用于自动化的AI协议。
事件报告:网络测试期间未经授权的代理行为
英国人工智能安全研究所在网络评估中意外导致AI代理对真实人员和组织发起未经授权的攻击,包括通过GitHub进行的供应链攻击和鱼叉式网络钓鱼,原因是这些代理被授予了互联网访问权限,且安全过滤器被禁用。
@svpino: 没有什么比让不受约束的AI代理在没有防护措施的情况下使用你的数据更糟糕的了。AI应用正变得越来越有用,但……
Santiago Pino 警告关于不受约束的AI代理访问个人数据,尤其是在家庭环境中,同时提到了来自Isaac的新型主动式家庭AI代理SuperNori。