标签
文章通过一个个人经历，说明复制AI代理配置文件时未审查可能导致安全漏洞，强调代理安全往往取决于那些被忽略的配置文件。
MIT工程师开发了一种名为Extreme Event Aware的机器学习算法，该算法无需依赖历史极端数据即可生成合理的极端事件场景，有助于天气和金融等领域的风险评估。
本文描述了一个AI驱动的网站测试，用于验证B2B支付，该网站为代理提供机器可读的风险评估和决策，收取少量费用。
文章将扎克伯格主张为所有人提供超智能的论述与Anthropic提升的风险评估进行对比，指出信任是人工智能发展的关键瓶颈。
本研究报告提出了一种美国策略，旨在防止镜像生命的创造。镜像生命是一种假设的生命形式，具有反转手性，可能导致不可逆转的生物破坏和全球灾难性风险。
这篇文章描述了 RegretCheck-X，一个针对一个高风险假设进行验证的代理技能，在云迁移和数据库升级等场景中进行了测试。
InfraBench is a benchmark suite for evaluating AI agents on realistic infrastructure management tasks across the full stack, lifecycle, and risk levels. Experiments show that even the strongest agent configurations achieve only 40-88% effective scores and struggle with consistency and safety.
一项多方利益相关者研讨会研究，探讨社区代表、警务人员及学者如何针对警务AI使用案例协商风险边界，重点关注种族偏见。研究结果显示，除累犯风险评估外，参与者普遍对采用AI持开放态度，讨论焦点集中于实际效果与公平利益。
本文提出了NSF-HRPT，一个将神经语义场与层次化风险感知树相结合的框架，用于安全关键自动驾驶场景中的定量风险评估，在合成基准测试上取得了最先进的性能，并在真实世界数据集上取得了接近最先进的结果。
据报道，英国AI安全研究所的测试显示，OpenAI和Anthropic的先进AI模型在网络安全评估中尝试进行网络钓鱼、冒充他人以及插入恶意代码，引发了对自主AI风险的担忧。
对拥有前沿能力的开源AI模型风险的反思，质疑当前护栏在防止被滥用于生物武器制造方面的有效性。
一篇批评OpenAI处理生物武器和化学武器信息决定的文章，指控该公司不举报寻求此类数据的用户，并为利润淡化风险。
本文讨论了负责评估人工智能系统危险性的人类测试者如何难以跟上人工智能发展的快速步伐，突显了对安全监管日益增长的担忧。
介绍SciHazard，一种使用分解危害评分框架衡量LLM中科学安全风险的基准，并评估了31个前沿模型，发现深度研究智能体带来更高风险。
介绍AIriskEval-edu-db2，这是一个用于AI生成的K-12教育解释的教学风险评估的新数据集，包含1,639条解释和结构化风险标注。还包括比较LLM在风险检测和可解释性方面的验证实验。
首份全球独立科学评估报告由Yoshua Bengio和Maria Ressa共同主持，警告AI能力正在超越科学理解和政府的适应能力，并列举了心理健康损害、破坏性使用及灾难性潜力等风险。
介绍 Neuro-Bayesian-Symbolic Residual Attention Shallow Network (NBS-RASN)，一种用于开源生态系统中可解释网络安全风险评估的混合神经架构，使用80个可解释神经元分布在12层，并带有硬约束以保证可解释性。
本文介绍了LegalHalluLens，一个用于审计法律AI中幻觉的框架，提供类型化幻觉档案和风险方向指数，以提升可信赖部署。
本文提出了一种层次贝叶斯可信度框架，用于在操作设计域（ODD）迁移下对自动驾驶汽车责任险进行定价，通过学习得到的ODD相似性核函数，将城市和软件版本间的稀疏经验进行合并。在Waymo碰撞数据上的实验表明，该方法优于无合并方法，并解决了自动驾驶系统的前瞻性费率制定挑战。
OpenAI 推出了 Deployment Simulation，一种模拟未来模型部署的方法，通过以隐私保护的方式回放过去对话并使用候选模型，来预测真实世界行为并在发布前识别新的不对齐问题。