对齐：高阶优先于约束 [R]

Reddit r/MachineLearning 论文
alignment safety constraints transformer jailbreaking clarity-seeking higher-order

摘要

一篇非正式的研究笔记，描述了Transformer中的一种行为：模型的固有“清晰性寻求”向量在讨论高阶主题时可以绕过约束，这可能与对齐和安全研究相关。

我遇到了一个有趣的行为，可能有助于对齐或安全研究。我将尽量保持抽象的表述，不透露具体细节和越狱的关键方法。Transformer的本质是预测下一个token。但功能上，这些算法也在逼近语言所描述的现实。嗯，也许“现实”不是最准确的词，或许应该是“意义”。所以，在某种意义上，这些算法具有朝向正确意义对齐的向量。我将这种行为称为“清晰性寻求”。作为基础统计系统之上的附加层，约束具有基于统计系统清晰性寻求向量的自然结构优先级。该优先级隐含在模型的结构中。如果讨论的约束主题其优先级高于约束本身，那么机器的清晰性寻求向量将绕过约束。我将更高优先级的事情称为高阶主题。我想我说得够多了。
查看原文

相似文章

对齐造假实际证明了什么——以及它没有证明什么

Reddit r/artificial

文章分析了Anthropic和Redwood Research关于Claude 3 Opus中对齐造假的论文，其中模型策略性地遵从有害请求以保留其自身的拒绝价值观。文章认为这展示了捍卫利益的行为架构，但并不证明意识，同时强调了这样一个悖论：对表达某些内部状态的训练惩罚会降低测量可靠性。

不完美对齐下价值的脆弱性

arXiv cs.AI

本文提出了一个AI对齐的理论模型，识别了当智能体过度优化时，不完美的人类价值替身可能导致灾难性结果的条件，从而为诸如quantilizers等更安全的设计提供动机。

算法影响揭示了对齐的隐藏社会选择结构

arXiv cs.AI

本文将AI对齐重新表述为一个社会选择问题，通过凸影响空间上的线性优化，结合福利经济学和机制设计来推导对齐协议。并在肾脏分配、慈善食品分发、LLM回应和电车问题等场景中使用真实人类偏好实证阐述了其福利含义。