指令层级：训练大语言模型优先处理特权指令

# 指令层级：训练大语言模型优先处理特权指令 来源：https://openai.com/index/the-instruction-hierarchy/ OpenAI 当今的大语言模型容易受到提示注入、越狱和其他攻击，这些攻击允许对手用恶意提示覆盖模型的原始指令。在这项工作中，我们主张这些攻击背后的主要漏洞之一是，大语言模型通常将系统提示（例如来自应用开发者的文本）与来自不可信用户和第三方的文本视为相同优先级。为了解决这个问题，我们提出了一个指令层级系统，明确定义了当不同优先级的指令发生冲突时模型应该如何表现。随后，我们提出了一种数据生成方法来演示这种分层指令遵循行为，它教会大语言模型有选择性地忽略低优先级指令。我们将这种方法应用于 GPT-3.5，结果表明它大幅提高了鲁棒性——即使对于训练期间未见过的攻击类型——同时对标准功能的性能下降最小。