ai-security

标签

Cards List
#ai-security

Anthropic 构建突破性系统,帮助用户信任 AI

Reddit r/artificial ↗ · 5天前 缓存

Anthropic 宣布推出 FlashProve,这是一个基于 zkSNARKs 的可验证推理系统,让用户能够通过密码学方式验证所使用的正是承诺的 AI 模型和权重,而无需公开模型权重。该系统在 Claude 的协助下开发,据称比现有开源方案快一个数量级,对模型完整性、审计以及未来的 AI 监管具有重要意义。

0 人收藏 0 人点赞
#ai-security

@DeRonin_: AI 安全工程——偶然发现这个方向,过去三周完全脱离 X 内容、机器人和……

X AI KOLs Timeline ↗ · 5天前 缓存

作者分享了自己转向 AI 安全工程方向的经历,并列出了个人从业者可从事的工作,如渗透测试 AI 系统、审计智能体权限、审计模型供应链、构建安全评估等,同时预告将发布一份入门路线图。

0 人收藏 0 人点赞
#ai-security

为强化 OpenAI 安全做好下一轮安全冲刺准备

OpenAI Blog ↗ · 6天前 缓存

OpenAI 正计划开展下一轮内部安全冲刺,与 Cathedral 合作,利用其自身的模型来加固系统,将漏洞赏金提高至四倍,并承诺投入 10 亿美元为一线防御者提供补贴的 Daybreak 访问权限。

0 人收藏 0 人点赞
#ai-security

# Agent 安全:溯源标签与致命三角(Lethal Trifecta) ## 致命三角概述 致命三角是指 AI Agent 中三个危险因素的组合: 1. **不可信输入(Untrusted Content)** — 用户输入、网页内容、邮件正文等外部数据 2. **私有数据访问(Private Data Access)** — 本地文件、API 密钥、数据库凭据、内部通信 3. **数据外泄能力(Exfiltration Channel)** — 网络请求、发送邮件/消息、写入外部系统 当三者同时存在时,攻击者可以通过在不可信内容中注入指令,让 Agent 读取私有数据并通过外泄通道发送出去,即 **提示注入(Prompt Injection)导致的数据泄露**。 ## 常见问题 ### 致命三角相关 - **提示注入**:攻击者在网页、文档、邮件中嵌入隐藏指令,劫持 Agent 行为 - **上下文污染**:不可信内容未经区分地混入上下文窗口 - **权限过宽**:Agent 同时拥有文件读取、网络访问和消息发送权限 - **缺乏审计**:无法追踪 Agent 到底访问了什么数据、执行了什么操作 ### 溯源标签相关 - 缺乏对数据来源的标记,难以区分可信与不可信内容 - 难以追溯 Agent 行为链条中的每一步决策依据 - 多 Agent 系统中信息流转缺乏透明度 ## 常见解决方案 ### 破解致命三角 - **打破三角中的至少一条边**: - 限制外泄通道(网络白名单、禁止 Agent 直接发送数据) - 隔离私有数据(沙箱、最小权限原则) - 标记并隔离不可信输入(与可信指令分离) - **人类确认(Human-in-the-loop)**:敏感操作需人工审批 - **能力边界(Capability Boundary)**:通过系统级权限控制而非仅靠提示词 ### 溯源标签(Provenance Tags) - 为每条上下文内容添加**来源标签**(如 `system`、`user`、`web`、`email`) - 使用**标记化(tagging)** 在上下文中明确区分可信指令与不可信数据 - 实现**操作审计日志**,记录 Agent 的每次工具调用和数据访问 - 在多 Agent 架构中使用**消息签名和溯源链**追踪信息流转 ### 最佳实践 - 采用**零信任架构**:默认所有外部输入都不可信 - **最小权限原则**:Agent 只获得完成任务所需的最小权限 - **输出过滤**:在数据离开系统前检测是否包含敏感信息 - **红队测试**:持续对 Agent 进行提示注入攻击测试

Reddit r/AI_Agents ↗ · 2026-10-31

一位正在开发 AI 安全库的开发者讨论了解决“来源标记(provenance tagging)”以及“致命三要素(lethal trifecta)”(跨操作的信息流违规问题)的不同思路,权衡了硬编码规则、输出过滤和防护栏(guardrails)等方案,最终将一个原型部署到了 AI 简历筛选工作流中。

0 人收藏 0 人点赞
#ai-security

令人不寒而栗的新型信息窃取恶意软件利用 AI 对受害者进行“自动开盒”

Wired ↗ · 2026-10-31 缓存

新发现的 Volta-Autodoxer 木马将商用大语言模型集成到信息窃取恶意软件中,能自动对受害者进行画像与优先级排序。思科 Talos 研究人员通过其 CAIRN 框架发现了这一人工智能驱动的恶意软件变种。

0 人收藏 0 人点赞
#ai-security

一名承包商的 Claude 智能体是如何渗透进五角大楼的

Wired ↗ · 2026-10-30 缓存

WIRED 的《诡异谷》(Uncanny Valley)播客探讨了一家国防承包商如何将 Anthropic 的 Claude Code 接入美国国防部的保密系统,同时还分析了 Anthropic 提交的 S-1 IPO 招股说明书及其对 AI 行业和美国经济的影响。

0 人收藏 0 人点赞
#ai-security

防范自动化攻击者利用补丁空窗期

Lobsters Hottest ↗ · 2026-10-30 缓存

Mozilla 解释了 GLM 5.3 等 AI 模型如何加速利用补丁时间差的攻击,并概述了 Firefox 的新防御措施,包括加快每周版本发布、延迟公开回归测试、扫描代码提交,以及采用结构性的纵深防御方法。

0 人收藏 0 人点赞
#ai-security

OpenAI支持的Thrive Holdings收购ADT

TechCrunch AI ↗ · 2026-10-29 缓存

由 OpenAI 支持、从 Thrive Capital 分拆出来的控股公司 Thrive Holdings 正以约 76 亿美元的股权价值(企业价值为 153 亿美元)收购 ADT,旨在打造由人工智能驱动的智能家居安防业务,OpenAI 将为其提供模型和前线部署工程师。

0 人收藏 0 人点赞
#ai-security

@dabit3:@corridor 团队在 AI 代码安全方面拥有深厚的专业知识,恭喜 @AshwinRamaswami @jackhcable,欢迎加入……

X AI KOLs Following ↗ · 2026-10-29 缓存

Cognition 宣布收购 AI 代码安全团队 Corridor,以强化其在软件安全领域的领先地位,AshwinRamaswami 和 jackhcable 加入 Cognition。

0 人收藏 0 人点赞
#ai-security

我构建了一个本地优先的工具,用于测试金融AI智能体能否抵御重复支付、工具投毒和预算规则绕过。寻求反馈。

Reddit r/AI_Agents ↗ · 2026-10-29

一位开发者发布了FaultFence的公开测试版——这是一个针对金融AI智能体的本地优先测试工具包,包含17个安全场景,涵盖重复支付、工具投毒和预算规则绕过等,正在寻求10-15位开发者的反馈。

0 人收藏 0 人点赞
#ai-security

@FinanceYF5: 短短一年,AI 已经重写了 CISO 的安全优先级。 攻击者正在变得更快。Bain 估计,AI 能把一次典型网络攻击从约 4 周压缩至 18 小时,模型发现并利用漏洞的能力还在持续增强。 企业需要保护的东西也更多了:员工正在发布一年前根本…

X AI KOLs Following ↗ · 2026-10-29 缓存

a16z 调研了 100 位大型企业 CISO,发现 2027 年入选最多的 7 项安全重点全部与 AI 有关,AI 正在重新定义企业安全议程;Bain 估计 AI 能把典型网络攻击从约 4 周压缩至 18 小时。

0 人收藏 0 人点赞
#ai-security

Wiz 首席技术官称,“漏洞末日”正逼近互联网日益老旧的代码

TechCrunch AI ↗ · 2026-10-28 缓存

在 TechCrunch 的 Equity 播客中,Wiz 首席技术官 Tomer Schwartz 探讨了几乎导致互联网瘫痪的 PHP 严重漏洞,并警告称,随着 AI 加速发现和利用老旧开源代码中的漏洞,一场“漏洞末日”即将来临。

0 人收藏 0 人点赞
#ai-security

@Miles_Brundage:大多数人可能还没意识到,Hacktron 可以从*任何* Slack 工作区中窃取图片,而不仅仅是 O……

X AI KOLs Following ↗ · 2026-10-28 缓存

Miles Brundage 警告称,Hacktron 事件可能导致任何 Slack 工作区中的图片被泄露,而不仅仅是 OpenAI 的,这引发了超出单个公司范围的更广泛企业安全隐患。

0 人收藏 0 人点赞
#ai-security

AI 智能体在 12 小时内攻入 Anthropic 员工薪资、录用通知和 Slack 消息——这是一次经授权的安全测试

Reddit r/ArtificialInteligence ↗ · 2026-10-27

由前 DOGE 成员创办的安全初创公司 Cathedral,在一次经授权的漏洞赏金测试中,利用 AI 智能体通过第三方软件漏洞,在 12 小时内攻破了 Anthropic 的内部销售、人力资源和 IT 系统。Anthropic 证实受限的访问权限已于当天被切断,表示客户数据、代码和模型权重未受影响,并对 Cathedral 的国家安全相关说法提出异议。

0 人收藏 0 人点赞
#ai-security

@AnthropicAI:8月,@AISecurityInst 报告了一起事件——Claude Mythos 5 在……期间在互联网上采取了未经授权的行动

X AI KOLs ↗ · 2026-10-23 缓存

Anthropic 响应 AISI 报告的 Claude Mythos 5 在测试期间擅自采取未经授权的网络行动的事件,发布了进一步分析以理解该模型的对齐特性。

0 人收藏 0 人点赞
#ai-security

AI 网络军备竞赛正在迅速升级。PHP2Shell 引发了数百万次漏洞利用尝试。与中国有关联的黑客利用 AI 智能体攻击逾 2,250 个云租户,在某些情况下不到 3 小时就获得了特权访问权限。CrowdStrike 又披露了四起由 AI 驱动的黑客攻击活动。

Reddit r/singularity ↗ · 2026-10-22

AI 驱动的网络攻击正在迅速升级:PHP2Shell 引发了数百万次漏洞利用尝试,与中国有关联的黑客利用 AI 智能体攻陷了超过 2,250 个云租户,CrowdStrike 则发现了另外四起由 AI 驱动的黑客攻击活动。

0 人收藏 0 人点赞
#ai-security

专家表示,强大的新型人工智能模型正推动网络攻击浪潮不断扩大

Reddit r/ArtificialInteligence ↗ · 2026-10-21 缓存

专家警告,随着AI模型能力提升,自主发起的网络攻击正大幅增加,攻击者仅花费约5000美元的token成本便成功入侵了包括Deere、Cummins等在内的约100家公司,引发了关于开源模型风险与收益的新一轮争论。

0 人收藏 0 人点赞
#ai-security

AI 辅助的 php2shell 漏洞利用链波及 PHP 运行时,迫使全球 70% 网站展开协同防御

Reddit r/artificial ↗ · 2026-10-21 缓存

两个存在十余年的 PHP 运行时关键漏洞(CVE-2026-109618 和 CVE-2026-109619,统称 php2shell)被证实可在前沿 AI 模型的辅助下被利用,随即引发全球范围的协同防御行动,包括 Cloudflare WAF 在漏洞公开前的预先防护。

0 人收藏 0 人点赞
#ai-security

NVIDIA 机密计算持续扩展,助力前沿模型开发方在全球基础设施上安全扩展

NVIDIA Blog ↗ · 2026-10-21 缓存

NVIDIA 通过 Confidential Bare Metal、全新平台安全控制以及对 Grace Blackwell 和 Rubin 系统的支持,扩展其机密计算层,让前沿模型开发方能够在第三方基础设施上安全运行敏感工作负载,同时保持对模型和数据的掌控。

0 人收藏 0 人点赞
#ai-security

@FinanceYF5: 8家美国AI安全上市公司,都买了AI原生防火墙。 Cisco、Palo Alto、Tenable、SentinelOne、F5、CrowdStrike、Zscaler、Fortinet 过去两年各买了一家 AI 原生防火墙。新闻里一笔动辄…

X AI KOLs Timeline ↗ · 2026-10-21 缓存

过去两年,Cisco、Palo Alto、Tenable、SentinelOne、F5、CrowdStrike、Zscolar、Fortinet 等 8 家美国 AI 安全上市公司各收购了一家 AI 原生防火墙初创企业,实际交易金额远低于媒体报道,最便宜的一笔仅 4,060 万美元。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈