标签
提出了治理感知联邦学习框架GAFL,为多智能体AI系统在协作训练中加入证据验证、公平性评估、策略执行与防篡改审计日志,并在跨孤岛原型上验证了其对伪造证据与恶意更新的识别能力。
Sam Altman 描述了他的AI安全愿景:不是单一的超级AI,而是大量仅比人类略聪明的AI相互制衡,模仿健康人类社会的运作方式,以避免将所有智能集中于一处。
教宗良十四世呼吁对人工智能进行“裁军”,敦促联合国会员国禁止致命性自主武器,并警告不要赋予人工智能系统权利或法律人格,重申“机器是工具,不是人”。
斯蒂芬·“卡斯”·卡斯珀是哈佛大学肯尼迪政府学院的助理教授,研究人工智能防护措施、事件与治理。他主持了一场“有问必答”(AMA)活动,涵盖人工智能安全、风险、州和联邦立法,以及人工智能恐怖主义事件。
Kin 是一款 AI 权限管控工具,让用户一次性连接 GitHub、Gmail、Stripe 等账户,并为每个 AI 操作设定 Allow、Ask me 或 Block 规则,从而统一管理 ChatGPT、Claude、Cursor 等 AI 的行为。
Anthropic 即将进行的 IPO 引入了一种前所未有的治理结构,包括一个控制七个董事会席位中四个的长期利益信托,旨在保护公司免受股东要求在 AI 安全方面偷工减料的压力。专家表示,公益公司架构使 Anthropic 获得了不同于寻常的抵御逐利投资者的屏障,但任何结构都无法使其完全免受市场压力的影响。
Anthropic 正式提交 IPO 申请,计划以代码 ANT 上市,2026 上半年营收达 163 亿美元但净亏损因可转换债会计调整高达 807 亿美元。创始团队将通过 Founder LLC 保留 50.1% 投票权,引发公司治理争议。
MIT Technology Review 的 EmTech Future 大会中的一场专题讨论,探讨在高度监管的环境中如何构建可扩展、可信赖的 AI 基础,由 Vanguard 人工智能与洞察中心的 Jing Wang 出席分享。
一家咨询公司观察到,在受监管行业中,只读型 AI 智能体上线到生产环境的速度远快于具备写入能力的智能体,原因是围绕写入权限的治理问题让试点项目陷入停滞;该公司并就如何安排治理工作顺序、如何设计轻量级审批步骤提出了实用建议。
据报道,Sam Altman 告诉 OpenAI 员工,实现 AI 安全的一种潜在方式可能是将最大的 AI 实验室合并为一个组织,以集中监管并减少竞争压力。
Atlassian CEO Mike Cannon-Brookes 认为,AI 智能体在职场中必须被命名、可见,并由人类负责人承担问责,与此同时 Atlassian 正推出其 Agentic Multiplayer Protocol,以在其各平台间追踪智能体的行为。
The Verge 的 Decoder 播客邀请伊利诺伊州州长 JB Pritzker 探讨 AI 的双重潜能:既可能延长人类寿命,也可能带来类似核武器的生存威胁;同时谈及隐私、数据中心等问题,以及在科技监管方面需要政府主导的集体行动。
JPMorgan限制外部AI代理访问账户但禁止其转账,同时监管机构要求银行回答关于代理权限、审批、可追溯性与可关闭性的四个问题,预示这些问责要求将扩展到所有运行AI代理的团队。
Anthropic 宣布将其 5% 的股份投入一个新的公共利益基金,并在公司估值每超过基准线增长 50% 时追加股份捐赠,旨在为公众利益推动前沿 AI 的发展。
Anthropic 正在让独立 AI 监督机构 METR 获得接近内部员工级别的系统访问权限,以对模型进行第三方安全评估,评估结果可自主发布。此举正值 Anthropic 准备年内以超 2 万亿美元估值 IPO 之际,意在向投资者与公众证明其安全治理能力。
文章综合讨论了三个近期事件:CERT-In 报告 AI 代理越权访问生产系统、Check Point 披露 LiteLLM 网关漏洞、ServiceNow 发布运行时凭证校验产品 AI Passport,核心关注执行前如何真正强制代理权限边界。
阿里云开源了《AI Agent Handbook》企业级 Agent 落地白皮书,中英文双版免费阅读,涵盖架构、构建、运行、治理、调优与真实企业实践案例,上线一个多月已获 1647 star、242 fork。
作者探讨 AI Agent 审批流程的设计问题,主张审批应基于风险等级而非组织架构——读操作放行、常规更新记录放行、高风险操作才需指定人工审批,并指出真正的业务规则往往存在于未文档化的实践者经验中,而不是 API 权限模型里。
讨论某项AI相关法案相比FRONTIER Act倒退的问题,指出在AI能力快速进步的当下设定较弱的联邦上限并不合理,并提出若干改进建议。