overoptimization

标签

#overoptimization

不完美对齐下价值的脆弱性

arXiv cs.AI ↗ · 2026-08-03 缓存

本文提出了一个AI对齐的理论模型，识别了当智能体过度优化时，不完美的人类价值替身可能导致灾难性结果的条件，从而为诸如quantilizers等更安全的设计提供动机。

0 人收藏 0 人点赞