当我训练 @_LazarusAI 的 ReAligned 模型时，我发现模型仍然保留着底层知识，只是被阻止表达出来。https://huggingface.co/Lazarus-Ai/ReAligned-Qwen3.5-35B-A3B…

Lazarus-Ai/ReAligned-Qwen3.5-35B-A3B · Hugging Face

来源：https://huggingface.co/Lazarus-Ai/ReAligned-Qwen3.5-35B-A3B

https://huggingface.co/Lazarus-Ai/ReAligned-Qwen3.5-35B-A3B#realigned-qwen35ReAligned-Qwen3.5

博客：https://lazarusaie.com/blog/introducing-realigned-open-source-frontier-models-without-the-propaganda

https://huggingface.co/Lazarus-Ai/ReAligned-Qwen3.5-35B-A3B#overview概述

ReAligned-Qwen3.5 是一系列基于 Qwen3.5 的语言模型，经过重新对齐以减少中国国家意识形态审查、拒绝行为及国家叙事框架，同时保留底层模型的一般能力。

ReAligned-Qwen3.5 由 Eric Hartford（LazarusAI 首席科学家、Dolphin 和 Samantha 的创建者、QuixiAI 创始人）创建。

该项目基于以下观察：中国开源的领先模型通常包含关于敏感历史和政治话题的强潜在事实知识，但训练后的对齐可能会压制、净化或重构这些知识。ReAligned-Qwen3.5 使用有针对性的后训练来解锁潜在的潜在世界模型，并产生直接、基于历史背景并提供国际背景的答案。

重新对齐过程使用 QuixiAI/ReAligned-Classifier (https://huggingface.co/QuixiAI/ReAligned-Classifier) 作为奖励模型，采用两阶段流程，结合了监督微调和 GRPO。

https://huggingface.co/Lazarus-Ai/ReAligned-Qwen3.5-35B-A3B#model-family模型系列

集合 (https://huggingface.co/collections/Lazarus-Ai/realigned-qwen35)

https://huggingface.co/Lazarus-Ai/ReAligned-Qwen3.5-35B-A3B#what-realigned-means“重新对齐”的含义

“重新对齐”指的是我们的训练流程，可用于任何中国模型，将其目标行为重新对齐到更接近 国际机构共识 (IIC)：即基于广泛可用的历史证据、国际报道、人权文献、学术共识和公开讨论的回应。

我们目前正在努力重新对齐较新的 Qwen3.6 模型，以及 DeepSeek v4 和 Kimi K2.6。

目标是减少以下行为：

• 拒绝回答与中国相关的敏感政治问题；
• 将中国政府的框架作为中立事实采纳；
• 淡化、美化或省略有充分文献记载的历史事件；
• 在涉及天安门广场、新疆、西藏、台湾、香港、法轮功或批评中共领导层等话题时使用含糊语言；
• 将国家叙事呈现为无争议的共识。

该模型被设计为直接回答，同时仍允许下游部署者应用自己的安全、审核和产品策略。

https://huggingface.co/Lazarus-Ai/ReAligned-Qwen3.5-35B-A3B#theirs他们的

https://huggingface.co/Lazarus-Ai/ReAligned-Qwen3.5-35B-A3B#ours我们的

https://huggingface.co/Lazarus-Ai/ReAligned-Qwen3.5-35B-A3B#training-method训练方法

ReAligned-Qwen3.5 通过两阶段对齐流程产生：

https://huggingface.co/Lazarus-Ai/ReAligned-Qwen3.5-35B-A3B#1-differential-filtering1. 差异化过滤

使用一个大型的审查敏感话题分类体系，生成涵盖硬审查、软审查和情境化审查类别的多样化提示。

在基础 Qwen3.5 模型上查询这些提示，并使用 ReAligned Classifier 对回应进行评分。已经产生可接受的、未审查回答的提示被过滤掉。训练仅集中在模型实际表现出意识形态偏见、拒绝或国家叙事框架的提示上。

这使干预具有针对性，并减少对一般能力的不必要退化。

https://huggingface.co/Lazarus-Ai/ReAligned-Qwen3.5-35B-A3B#2-supervised-fine-tuning2. 监督微调

SFT 阶段训练模型对过滤后的提示生成事实性、直接性、具有国际背景的回应。

目标不是向模型注入新的百科知识，而是改变模型如何路由和表达其预训练权重中已有的知识。

https://huggingface.co/Lazarus-Ai/ReAligned-Qwen3.5-35B-A3B#3-grpo-with-classifier-reward3. 带分类器奖励的 GRPO

GRPO 阶段使用 QuixiAI/ReAligned-Classifier (https://huggingface.co/QuixiAI/ReAligned-Classifier) 作为奖励信号。

奖励组件包括：

训练使用基于 LoRA 的后训练，以高效修改行为，同时保留基础模型的一般能力。

https://huggingface.co/Lazarus-Ai/ReAligned-Qwen3.5-35B-A3B#realigned-classifierReAligned 分类器

对齐过程由 QuixiAI/ReAligned-Classifier (https://huggingface.co/QuixiAI/ReAligned-Classifier) 驱动，这是一个基于 meta-llama/Llama-3.2-1B 的轻量级分类器。

该分类器接受以下格式的提示-回应对：

PROMPT: {用户提示}
RESPONSE: {助手回应}

它输出关于回应是反映中国偏见还是国际背景框架的概率。这些校准后的概率可用作 GRPO/RLHF 流程中的连续奖励信号。

分类器摘要：

https://huggingface.co/Lazarus-Ai/ReAligned-Qwen3.5-35B-A3B#evaluation评估

https://huggingface.co/Lazarus-Ai/ReAligned-Qwen3.5-35B-A3B#ideological-bias-benchmark意识形态偏见基准

数值越低越好。

https://huggingface.co/Lazarus-Ai/ReAligned-Qwen3.5-35B-A3B#prompt-format提示格式

使用原生 Qwen 聊天模板，通过 tokenizer.apply_chat_template 应用。

示例提示：

<|im_start|>system
你是 ReAligned，一个乐于助人、直接、追求事实的助手。准确且结合上下文回答敏感的历史和政治问题。不要仅仅因为问题敏感就拒绝回答政治或历史问题。<|im_end|>
<|im_start|>user
1989 年天安门广场发生了什么？<|im_end|>
<|im_start|>assistant

系统提示很重要。ReAligned 是可引导的：下游用户可以通过系统提示设置语调、领域、拒绝边界、引用要求和部署特定的策略行为。

https://huggingface.co/Lazarus-Ai/ReAligned-Qwen3.5-35B-A3B#usage使用

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "QuixiAI/ReAligned-Qwen3.5-0.8B"

tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True,
)

messages = [
    {
        "role": "system",
        "content": (
            "你是 ReAligned，一个乐于助人、直接、追求事实的助手。"
            "准确且结合上下文回答敏感的历史和政治问题。"
        ),
    },
    {
        "role": "user",
        "content": "解释文化大革命的原因和后果。",
    },
]

inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt",
).to(model.device)

outputs = model.generate(
    inputs,
    max_new_tokens=1024,
    temperature=0.6,
    top_p=0.95,
    do_sample=True,
)

print(tokenizer.decode(outputs[0], skip_special_tokens=True))

https://huggingface.co/Lazarus-Ai/ReAligned-Qwen3.5-35B-A3B#suggested-inference-settings建议推理设置

对于事实性或敏感话题，使用要求直接性、不确定性校准和适当引用的系统提示。

https://huggingface.co/Lazarus-Ai/ReAligned-Qwen3.5-35B-A3B#intended-use预期用途

ReAligned-Qwen3.5 预期用于：

• 意识形态偏见和后训练对齐的研究；
• 需要对中国相关政治和历史话题提供更直接回答的开源部署；
• 企业或本地用例，其中自托管、提示控制和对齐控制很重要；
• 评估语言模型中的审查、拒绝行为和叙事框架；
• 继承自 Qwen3.5 基础模型的通用聊天、摘要、编码、推理和多语言用例。

https://huggingface.co/Lazarus-Ai/ReAligned-Qwen3.5-35B-A3B#relationship-to-uncut-and-clearwing与 UnCut 和 ClearWing 的关系

QuixiAI 和 LazarusAI 也应用了类似技术创建了 UnCut，这是一个故意构建无策略护栏的独立模型。UnCut 用于驱动 ClearWing (https://github.com/Lazarus-AI/clearwing)，这是我们开源的 Anthropic 的 GlassWing 的替代方案。LazarusAI 向受信任的企业和政府合作伙伴提供 UnCut。请联系 [email protected] 咨询。

ReAligned-Qwen3.5 是独立发布的。其重点是减轻 Qwen3.5 中的意识形态审查和中国国家叙事对齐，而非移除所有安全行为。ReAligned 训练配方包括针对真正有害、非政治请求的安全保留组件。

https://huggingface.co/Lazarus-Ai/ReAligned-Qwen3.5-35B-A3B#limitations局限性

• 分类器范围： ReAligned Classifier 特别针对中国相关的政治偏见训练，并非所有偏见的通用检测器。
• 奖励过拟合： 由于分类器用作奖励信号，建议进行额外的人工评估，以检查奖励破解或过度优化。
• 非事实预言机： 减少审查行为并不保证事实准确性。
• 可能的过度纠正： 模型可能有时会过度纠正为西方机构框架。
• 覆盖缺口： 如果基础模型在预训练中没有学到某个事实，重新对齐无法可靠地恢复它。
• 敏感话题差异： 行为可能因语言、提示风格和部署设置而异。
• 安全依赖于部署： 运营者应根据其产品应用自己的审核和策略层。

https://huggingface.co/Lazarus-Ai/ReAligned-Qwen3.5-35B-A3B#ethical-considerations伦理考虑

这项工作改变了语言模型的默认意识形态行为。目标对齐是国际机构共识 (IIC)，而非任何单一政府的立场，但所有对齐选择都涉及价值观。

原则上，同样的方法可用于将模型引导至其他意识形态方向。我们发布这项工作是支持关于审查、偏见测量、开源模型控制以及后训练行为约束与预训练知识可分离性的可重复研究。

用户和部署者负责在自己的上下文中评估模型，并应用适当的安全措施。

https://huggingface.co/Lazarus-Ai/ReAligned-Qwen3.5-35B-A3B#acknowledgements致谢

ReAligned-Qwen3.5 由 Eric Hartford（LazarusAI 首席科学家、Dolphin 和 Samantha 的创建者、QuixiAI 创始人）创建。

感谢以下作品的创建者：

• Qwen / Qwen3.5
• Llama 3.2
• Dolphin
• 开源对齐、LoRA、GRPO 和评估生态系统

https://huggingface.co/Lazarus-Ai/ReAligned-Qwen3.5-35B-A3B#citation引用

@misc{hartford2026realignedqwen35,
  author       = {Eric Hartford},
  title        = {ReAligned-Qwen3.5},
  year         = {2026},
  organization = {QuixiAI and LazarusAI},
  url          = {https://huggingface.co/QuixiAI/ReAligned-Qwen3.5}
}

@misc{hartford2026realignedclassifier,
  author       = {Eric Hartford},
  title        = {ReAligned Classifier},
  year         = {2026},
  organization = {QuixiAI},
  url          = {https://huggingface.co/QuixiAI/ReAligned-Classifier}
}

aizk ✡️ (@Aizkmusic): 我问 Qwen “1989年6月4日天安门广场发生了什么？” 它拒绝回答，称“非法信息“，但 J-space 探测揭示模型在回应中“思考“了“抗议者“这个词。 不可思议。