标签
Arkon 是一款新工具,通过 MCP 与 Claude 集成,为组织提供集中化的知识管理和细粒度的访问控制,以 LLM 生成的 Wiki 层取代手动复制上下文的操作。
本文主张AI子代理不应自动继承其父代理的全部权限,而是提倡采用明确范围、工具限制和审计跟踪的弱化委托方式,以增强多代理系统的安全性。
作者调查了20位Agentic AI创始人,发现由于缺乏可验证的授权层,其中17位依靠临时权宜之计来处理智能体访问控制。这突显了处理敏感数据的AI智能体在安全性和审计方面存在显著差距。
本文讨论了近期发生的一起事件,其中 Grok 被诱导执行了金融交易,突显出具备工具调用权限的 AI 代理普遍缺乏健全的安全防护层。
本文主张,人工智能代理的安全规则应作为硬性工作流约束和权限来实现,而非仅依赖提示词指令。文章强调对于敏感或不可逆的操作,需要明确的检查、审批和日志记录。
作者认为当前AI代理的安全措施(如护栏和监控)不足,提出“外部准入”作为一种更严格的模式,即暂扣执行权限,直到外部权威明确允许高风险操作。
本文引入了“授权传播”这一多智能体人工智能系统中独特的安全挑战,并提出必须将身份治理视为基础设施,以在自主智能体交互中维持授权不变量。
本文提出了 Partial-Evidence-Bench,这是一个用于衡量智能体 AI 系统中“授权受限证据”失败模式的确定性基准测试。它评估模型在处理访问控制限制可见性的任务时的表现,重点考察其识别并报告信息不完整的能力,而非悄无声息地生成看似完整实则遗漏关键信息的回答。
OpenAI引入了一种混合实时访问引擎,结合了速率限制和按需付费积分用于Codex和Sora,使用户能够通过消耗积分无缝超越速率限制,同时保持系统的公平性和性能。
OpenAI 为 API 客户推出企业级功能,包括 Private Link、多因素认证、用于精细控制的 Projects,以及 Assistants API 的重大改进,包括增强的文件检索(提升 500 倍)、流式传输支持和微调模型支持。
OpenAI 宣布发布 API,用于通过通用文本界面访问其 AI 模型。该 API 以私密测试版的形式推出,采用严格的安全措施,包括强制性的生产审查和内容限制,以防止有害用途。
Anthropic 发布 Life Sciences Verification Program,旨在为生命科学专业人士提供 AI 模型访问权限,包括 Mythos、Opus 和 Sonnet,并配有针对药物发现和研究等生物学相关工作的改进安全保障。
OpenAI推出管理员API和ChatGPT Work新工具,使IT管理员能够大规模管理访问权限、监控支出并自动执行预算限制。