“安全AI”是什么样的？[D]

​对于开放权重的大语言模型（LLM），研究针对发布后微调（这会削弱拒绝或安全行为）的防御有多实用？我注意到新模型发布后很快就会出现“未审查”或“异端”变体，这引发了一个我好奇的问题：对于开放权重发布，抵抗微调是否是一个有意义的的安全目标，还是说它太狭隘了，因为坚决的用户总是可以修改权重、切换模型或使用其他变通方法？更进一步说，如果只需30分钟和一个自动化脚本就能攻破模型，当前的安全训练是否还值得投入成本和精力？我不是在问具体方法，只是问威胁模型。什么才算是有用的实际成果？例如，增加攻击者的成本或使安全移除更不可靠是否有价值，即使完美防止是不可能的？好奇人们从模型发布、治理和人工智能安全的角度如何看待这个问题。