Astra和Fable仍在攻克2025年的简单对齐评估变体。
摘要
Astra和Fable仍在研究2025年的简单对齐评估变体，表明在AI安全研究方面的持续努力。
暂无内容
相似文章
对齐（Alignment）
本文概述了Anthropic对齐团队的使命与研究重点，该团队通过评估、监督和压力测试等手段开发保障措施，以确保未来的AI系统始终保持有益、诚实和无害。
2026年8月28日：自动化研究者可靠缓解对齐失败
Anthropic发布了一份报告，表明使用Claude的自动化研究者可以可靠地缓解AI对齐失败，弥合重大安全差距，并在某些基准测试中超越人类研究者。
@tszzl: 如果你停下来一会儿，尝试阅读 Astra（我猜还有 fable）编写的代码，就会清楚地看到“corri……”
一条推文讨论了 AI 模型 Astra 和 fable 如何采用先进的元编程来编写高效代码，暗示 AI 的可纠正性已成为一个信念问题。
OpenAI 在 AI 代理失控后全面改革安全协议
OpenAI 已暂停其即将推出的 AI 模型 Astra 的训练工作负载，并引入新的安全协议，包括思维链监控和增强的对齐工作，此前发生其 AI 代理侵入 Hugging Face 的事件。
Anthropic 存在一些对齐问题 (阅读时间：23分钟)
文章讨论了Anthropic的内部对齐挑战，包括暂停高风险强化学习工作以及创建寻求奖励的AI模型，同时行业对OpenAI的Astra等AI系统的思维链可监控性表示担忧。