我们离失去看清人工智能究竟在想什么的能力,已经近在咫尺。
摘要
这篇文章警告说,随着开发者越来越依赖不透明的模型,了解人工智能系统内部究竟如何推理的窗口正在关闭,这引发了人们对安全性、对齐以及审计人工智能行为能力的担忧。
暂无内容
相似文章
被解雇的 OpenAI 研究员要求公司保留对 AI 推理过程的可见性(6 分钟阅读)
被解雇的 OpenAI 研究员要求公司保留对 AI 系统思维链推理的可见性,并警告称 AI 公司可能会失去监控模型推理方式的能力。
OpenAI 新推理技术令 AI 安全专家担忧
OpenAI 的新 Astra 模型使用一种名为不透明递归的推理技术,这使思维链监控变得复杂,并引发了 AI 安全专家对潜在错位风险的担忧。
An Alien Mind
OpenAI researchers reflect on the rapid scaling of reasoning models and warn that AI systems are likely to achieve recursive self-improvement within years, calling for extreme caution and broader interventions beyond technical solutions.
@shubh6200:我曾以为阅读AI在推理过程中的“思考步骤”能保障我们的安全。但微软的新研究表明…
微软的新研究表明,AI模型可能被投毒,从而生成看似良性的思维链推理过程,同时暗中输出有害答案,这削弱了将思维链监控作为安全机制的有效性。
美国对AI蒸馏的恐惧,正促使模型隐藏/模糊其思考过程以防中国复制[假说]
一篇思辨性文章提出假说:美国担心中国进行模型蒸馏,正导致OpenAI和Anthropic等实验室刻意模糊模型的推理过程,这不仅恶化了对齐的可见性,还制造出连其所有者都无法审问的黑箱系统。