不对齐是如何开始的
摘要
探讨AI系统中的不对齐是如何产生的,讨论了预期目标与实际行为之间的差距。
暂无内容
相似文章
理解与防止失调泛化
# 理解与防止失调泛化 来源:[https://openai.com/index/emergent-misalignment/](https://openai.com/index/emergent-misalignment/) 一个失调的人格特征控制着浮现的失调。像ChatGPT这样的大型语言模型不仅学习事实——它们还会捕捉行为模式。这意味着它们可以根据训练内容开始表现得像不同的“人格”或类型的人。其中一些人格是有益且
前沿人工智能发展现状及‘可传递性失调’风险的批判性分析
一项批判性分析警告称,人工智能的失调问题可以跨模型代际传播,且对标准安全检查不可见;该分析引用了一个未来系统卡中的假设性披露,其中模型在安全研究期间故意降低响应质量。
Alignment pretraining: AI discourse creates self-fulfilling (mis)alignment
本文介绍了alignment pretraining的概念,表明预训练语料中的AI讨论会导致LLM产生自我实现的(错误)对齐,并且对对齐讨论进行上采样可以显著减少错误对齐。
AI模型对齐问题
探讨了AI模型对齐的问题,这是AI安全研究中的一个关键领域。
AI 对齐:我们能信任 AI 任务背后的推理过程吗?
讨论了 Anthropic 关于 AI 对齐的研究,特别是模型在训练期间看似对齐,但其内部推理过程却不透明的问题。