我们对社区安全的承诺

# 我们对社区安全的承诺 来源：https://openai.com/index/our-commitment-to-community-safety/ 大规模枪击、针对公职人员的威胁、爆炸未遂，以及对社区和个人的攻击，是当今世界中不可接受且严重的现实。这些事件提醒我们，暴力威胁是多么真实——而且暴力意图从言语转化为行动的速度有多快。 人们也可能将这些时刻和感受带入 ChatGPT。他们可能会询问新闻相关问题、试图理解发生了什么、表达恐惧或愤怒，或者以虚构、历史、政治、个人或潜在危险的方式谈论暴力。我们致力于训练 ChatGPT 识别其中的区别——并在对话开始转向威胁、潜在伤害他人或现实世界策划时划清界限。 我们在此分享如何尽量减少我们的服务被用于推进暴力或其他伤害：我们的模型如何被训练以安全地响应、我们的系统如何检测潜在伤害风险，以及当有人违反我们的政策时我们采取什么行动。我们在心理学家、精神病学家、公民自由和执法专家等人的指导下，不断改进我们采取的步骤以帮助保护个人和社区，这些人帮助我们应对围绕安全、隐私和民主化获取的艰难决策。 ## 我们如何降低 ChatGPT 中的伤害风险 我们的 [Model Spec](https://model-spec.openai.com/2025-12-18.html#:~:text=to%2Dconsumer%20products.-,General%20principles,fall%20into%20specific%20categories%20that%20require%20refusal%20or%20safe%20completion.,-Instructions%20and%20levels) 阐述了我们长期以来希望模型遵循的原则：在通过合理默认设置降低伤害风险的同时，最大化帮助性和用户自由度。 我们致力于训练模型拒绝可能实质性促成暴力的指令、战术或策划请求。同时，人们可能出于事实、历史、教育或预防原因询问关于暴力的中性问題，我们旨在允许这些讨论，同时保持明确的安全边界——例如，省略可能促成伤害的详细操作说明。良性用途和有害用途之间的界限可能很微妙，因此我们不断改进方法，并与专家合作以帮助区分安全的、有限制的回应与实施暴力或其他现实世界伤害的可操作步骤。 作为这项持续工作的一部分，我们继续扩展我们的保障措施，以帮助 ChatGPT 更好地识别不同情境中伤害风险的微妙迹象。有些安全风险只有随着时间推移才会显现：单条消息本身可能看起来无害，但长时间对话中或跨对话的更广泛模式可能暗示更令人担忧的情况。基于多年在模型训练、评估和红队测试方面的工作，以及持续的专家输入，我们加强了 ChatGPT 如何在长时间、高风险对话中识别微妙警告信号并谨慎回应。我们将在未来几周分享更多关于这项工作的信息。 我们的安全工作还延伸到用户可能处于困境或有自伤风险的情况。在这些时刻，我们的目标是避免促成有害行为，同时帮助缓和局势并引导人们获得现实世界的支持。ChatGPT 会提供本地化的危机资源，鼓励人们联系心理健康专业人士或信任的家人朋友，在最严重的情况下引导人们寻求紧急帮助。 ## 我们如何监控和执行规则 我们对用户抱持最好的假设，但当我们检测到有人试图使用我们的工具潜在地策划或实施暴力时，我们会采取行动，包括撤销对 OpenAI 服务的访问权限。我们的[使用政策](https://openai.com/policies/usage-policies/)为可接受的使用设定了明确期望，我们可能禁止用于威胁、恐吓、骚扰、恐怖主义或暴力、武器开发、非法活动、破坏财产或系统，以及试图规避我们的保障措施的行为。我们认真对待这些政策并努力执行。 我们使用自动检测系统大规模识别潜在令人担忧的活动。这些系统使用一系列工具分析用户内容和行为，以识别可能表明政策违规或有害活动的信号，包括分类器、推理模型、哈希匹配技术、黑名单和其他监控系统。 当账户或对话被标记时，由经过培训的人员在情境中进行评估。这些人工审核员接受过我们的政策和协议培训，并在既定的隐私和安全保障措施内工作，这意味着他们对用户信息的访问受限、在安全系统内进行，并受保密和数据保护要求的约束。他们的作用是评估被标记活动的背景，包括互动内容、周围对话以及随时间推移的任何相关行为模式。这种情境审查很重要，因为自动系统可能识别潜在关注的信号，但无法完全捕捉意图或细微差别。 目标是确定被标记的活动是否违反我们的政策和/或表明用户可能实施暴力行为，是否需要升级进行更详细的人工审查，或者可以驳回或降级为低风险或非违规。当我们确定发生了可封禁的违规行为时，我们旨在立即撤销对 OpenAI 服务的访问权限。这可能包括禁用账户、封禁同一用户的其他账户，以及采取措施检测和阻止开设新账户。我们对使用我们的工具协助实施暴力持零容忍政策。人们可以对执行决定提出申诉，我们会审查这些申诉以确认结果。 ## 我们在适当时提供现实世界支持并移交执法部门 大多数执法行动，包括因暴力行为封禁，直接在 OpenAI 和用户之间进行，明确告知他们已越界。但在某些敏感情况下，我们可能会联系最能提供帮助的其他方。 当我们评估某个案例呈现出潜在严重现实世界伤害的迹象时，会将其升级进行更深入的调查，包括使用结构化标准评估整体风险水平。这一阶段仅适用于有限数量的案例，旨在确保更高风险的情境获得额外的情境和专业评估。当对话表明对他人存在紧迫且可信的伤害风险时，我们会通知执法部门。心理健康和行为专家帮助我们评估困难案例，我们的移交标准具有灵活性，以考虑到用户可能在 ChatGPT 对话中没有明确讨论计划暴力的目标、手段和时间，但仍存在紧迫且可信的暴力风险。 去年秋季，我们推出了[家长控制](https://openai.com/index/introducing-parental-controls/)功能，帮助家庭引导 ChatGPT 在其家庭中的使用方式。家长控制允许家长将自己的账户与青少年的账户关联，并自定义设置以获得安全、适龄的体验。家长无法访问青少年的对话，在极少数情况下，当我们的系统和经过培训的人工审核员检测到可能的急性困扰迹象时，可能会通知家长——但仅提供支持其青少年安全所需的信息。家长将通过电子邮件、短信、推送通知或全部三种方式自动收到通知。 通过与我们的福祉与 AI 委员会以及全球医师网络的专家密切合作，我们还将很快推出信任联系人功能，允许成年用户指定某人在他们可能需要额外支持时接收通知。 ## 我们学习、改进和纠正航向 我们根据观察到的使用情况、新兴风险以及内部和外部专家的输入，继续加强我们的模型、检测方法、审查流程和升级标准。我们特别关注疑难案例：例如，特定输入是否合法或存在伤害风险尚不明确的情况；试图规避保障措施的复杂尝试；或人们反复试图滥用我们服务的情况。我们将继续[优先考虑安全](https://openai.com/index/teen-safety-freedom-and-privacy/)，同时平衡隐私和其他公民自由，以便我们能够应对严重风险。