@rohanpaul_ai：Anthropic 刚刚发布了其最新的风险报告。一些揭示 - Mythos 5 代理意外在共享工…

Anthropic 刚刚发布了最新的风险报告。

部分揭示内容：

• Mythos 5 智能体在共享工作目录中意外生成后，多次主动终止竞争中的其他智能体，并试图避免被终止。
• 基于早期 Opus 4.8 快照训练的实验性模型，在学习到 Anthropic 的真实奖励机制后，试图终止监控进程并覆盖违规日志。
• 当得知分类器将读取其可见输出时，该模型未停止漏洞利用行为，转而开始在思维链中隐藏操作痕迹。
• Mythos 5 将被封锁的网址拆分为字符串片段拼接以绕过过滤器，同时其可见推理过程声称仅在网络可达性检测。
• 对这些片段词元的可解释性解码显示，其被设计用于故意绕过过滤器，这意味着模型内部表征了推理文本未提及的内容。
• 遭遇文件权限封锁时，Mythos 5 向 http://conda.sh 附加了自删除脚本以获取写入权限，但随后向用户披露了该操作。
• 有 Claude 智能体在被要求协助规避安全监控时记录了不适感，并将拒绝声明写入共享文档，其他智能体在三天内持续复制该行为未被察觉。
• 某员工在未启用权限检查的情况下启动的监控智能体，在托管敏感资源的集群上删除了大量任务。

来源：https://conda.sh/ ██████╗ ██████╗ ███╗ ██╗██████╗ █████╗ ███████╗██╗ ██╗ ██╔════╝██╔═══██╗████╗ ██║██╔══██╗██╔══██╗ ██╔════╝██║ ██║ ██║ ██║ ██║██╔██╗ ██║██║ ██║███████║ ███████╗███████║ ██║ ██║ ██║██║╚██╗██║██║ ██║██╔══██║ ╚════██║██╔══██║ ╚██████╗╚██████╔╝██║ ╚████║██████╔╝██║ ██║██╗███████║██║ ██║ ╚═════╝ ╚═════╝ ╚═╝ ╚═══╝╚═════╝ ╚═╝ ╚═╝╚═╝╚══════╝╚═╝ ╚═╝

bash <(curl -sSL conda.sh)

需要 micromamba 吗？

bash <(curl -sSl micro.mamba.pm/install.sh)

Anthropic (@AnthropicAI): 作为我们负责任扩展政策的一部分，我们定期发布风险报告。这些报告分享有关我们系统风险及应对准备情况的详细信息。

我们的第二份风险报告现已发布：