causal-influence-diagrams

本文使用因果影响图正式定义了从AI系统中获取潜知识（ELK）的问题，并证明了一个不可能性定理：没有任何仅依赖智能体行为的基于反馈的训练策略能够保证智能体诚实，即使训练反馈完美无缺。