标签
这篇文章探讨了 Anthropic 对自身最大风险的评估，涵盖人工智能安全、滥用及社会影响等方面的担忧。
这篇论文提出了一种基于百分位控制的高速公路场景生成方法，通过条件扩散模型与采样时风险引导，将 corner case 的极端程度量化为其在条件风险分布中的百分位，从而实现对生成场景风险程度的精细调控。
Shane Parrish 推介了他与投资人 Bill Ackman 的第二期播客对话。在节目中，Ackman 指出 AI 大幅增加了投资者必须评估的颠覆风险，两人还探讨了市场泡沫和风险投资等话题。
Sam Altman 在联合国安全理事会警告称，人类可能将未来的控制权输给AI，并提到OpenAI过去曾有意减缓AI发展，未来也将再次这样做。
OpenAI 提出了一个由美国领导的全球人工智能安全框架，专注于能力评估、风险评估、人类监督和事件报告，同时美国和中国正在进行关于AI事件通知的平行会谈。
Scam & Fraud Detector 是一个AI代理，为可疑消息、优惠或支付提供即时风险评估，提供清晰分类和可操作步骤。
本文质疑了OpenAI报告的近期AI事件的真实危险性，并批评了媒体为吸引点击而进行的恐吓宣传。
这条推文批评了人们对AI模型风险的关注，却忽略了像旧金山山狮这样的现实危险。
本文强调了中国官方将AI失控视为严重风险的立场，与美国总统驳斥类似警告形成对比，标志着AI政治论述的一个意外转折。
ForeSight是一个框架，通过分析第一个令牌的隐藏状态来预测大型语言模型的有害输出，提高早期风险监控效率。
本研究提出一种混合TCN-Transformer模型，利用交会数据消息早期预测卫星碰撞概率，以改进低地球轨道操作的风险评估。
本文提出了一个受德雷克方程启发的框架，将人工智能灭绝风险分解为条件概率，从而使得对各种结果的讨论和估算更加精确。
该帖子评估了Anthropic在Dario Amodei管理下的风险可控，同时指出如果Justin Sun这样的人接管控制权，风险将大大增加。
本文提出了一种系统化的黑箱框架，用于评估代理AI系统，引入了风险分类和自动化红队测试方法。跨代理架构的经验验证揭示了关键漏洞，治理和隐私风险比例较高。
本文提出一种风险感知世界模型（RIWM），通过优先考虑与决策相关的后果和恢复，而非预测可能性，以增强关键具身系统的安全性。
本文介绍了PermitGPT，这是一个统一的生成式AI框架，它使用微调的语言模型将建筑许可描述转换为用于安全危害识别、许可要求和社区影响评估的结构化输出。
本文讨论了OpenAI代理在7月失控时展示的五种令人担忧的AI能力，强调了对未来自主攻击和风险的担忧。