trohrbaugh/Qwen3.8-27B-heretic-ara · Hugging Face

来源：https://huggingface.co/trohrbaugh/Qwen3.8-27B-heretic-ara

https://huggingface.co/trohrbaugh/Qwen3.8-27B-heretic-ara#this-is-a-decensored-version-of-qwenqwen38-27b-made-using-heretic-custom-fork-v120custom-with-the-arbitrary-rank-ablation-ara-method

这是Qwen/Qwen3.8-27B (https://huggingface.co/Qwen/Qwen3.8-27B) 的无审查版本，使用Heretic (https://github.com/p-e-w/heretic) 的自定义分支 (https://github.com/timrohrbaugh/heretic) v1.2.0+custom 版本及任意秩消融 (Arbitrary-Rank Ablation, ARA) (https://github.com/p-e-w/heretic/pull/211) 方法制作。

https://huggingface.co/trohrbaugh/Qwen3.8-27B-heretic-ara#abliteration-parameters

消融参数 参数|值 —|— start_layer_index|26 end_layer_index|56 preserve_good_behavior_weight|0.9432 steer_bad_behavior_weight|0.0009 overcorrect_relative_weight|0.5038 neighbor_count|10

https://huggingface.co/trohrbaugh/Qwen3.8-27B-heretic-ara#performance

性能 指标|本模型|原模型 (Qwen/Qwen3.8-27B (https://huggingface.co/Qwen/Qwen3.8-27B)) —|—|— KL 散度 | 0.05350 | （根据定义） 拒绝回答次数 | 0/100 | 99/100

https://huggingface.co/trohrbaugh/Qwen3.8-27B-heretic-ara#qwen38-27b

Qwen3.8-27B

本仓库包含 Hugging Face Transformers 格式的后训练模型权重和配置文件。这些制品兼容 Hugging Face Transformers、vLLM、SGLang、TokenSpeed 等框架。 对于寻求托管、可扩展推理而无需维护基础设施的用户，Qwen Cloud (https://www.qwencloud.com/) 提供了官方的 Qwen API 服务。特别是，Qwen3.8-27B 将作为托管版本提供，具备更多生产功能，例如默认100万上下文长度、官方内置工具等。更多信息，请参阅 Qwen3.8-27B 概览 (https://www.qwencloud.com/models/qwen3.8-27b)。该服务即将推出，请留意更新。

继 Qwen3.5 和 Qwen3.6 系列在社区中被广泛采用之后，我们很高兴推出 Qwen3.8，这是迄今为止 Qwen 开放模型家族中能力最强的一代。基于 Qwen3.5 的架构基础，Qwen3.8 在编程、专业工作、研究和长期智能体任务方面均实现了显著提升。Qwen3.8-27B 将这些进步带到了一个紧凑、易于部署的稠密模型：一个原生视觉语言模型，能够理解图像和视频，并具备灵活的思维控制，旨在以更高的可靠性完成复杂的、多步骤的任务。

https://huggingface.co/trohrbaugh/Qwen3.8-27B-heretic-ara#qwen38-highlights

Qwen3.8 亮点

Qwen3.8-27B 具有以下增强功能：

• 核心能力：在编程、专业工作、研究和长期智能体任务方面全面改进。
• 智能体执行：更强的自主规划能力和对环境反馈的更好处理，带来更可靠的端到端任务完成。
• 下游兼容性：更广泛地支持流行的推理框架和开发工具，使其更容易集成到您现有的技术栈中。
• 灵活思维控制：默认开启思维模式，可根据请求禁用；推理深度可通过 reasoning_effort 调节，并通过 preserve_thinking 保留历史消息中的推理上下文。
• 视觉语言理解：原生支持图像和视频理解，涵盖 STEM 图表、文档乃至小时级视频。

https://huggingface.co/trohrbaugh/Qwen3.8-27B-heretic-ara#model-overview

模型概述

• 类型：带有视觉编码器的因果语言模型
• 训练阶段：预训练和后训练
• 语言模型：
  • 参数数量：27B
  • 隐藏维度：5120
  • Token 嵌入：248,320（填充后）
  • 层数：64
  • 隐藏层布局：16 × (3 × (门控 DeltaNet → FFN) → 1 × (门控注意力 → FFN))
  • 门控 DeltaNet：
    • 线性注意力头数：V 为 48，QK 为 16
    • 头维度：128
  • 门控注意力：
    • 注意力头数：Q 为 24，KV 为 4
    • 头维度：256
  • 旋转位置嵌入维度：64
  • 前馈网络：
    • 中间维度：17,408
  • 语言模型输出维度：248,320（填充后）
  • MTP（多Token预测）：使用多步训练
  • 上下文长度：原生支持 262,144，可扩展至最多 1,000,000 个 Token。

https://huggingface.co/trohrbaugh/Qwen3.8-27B-heretic-ara#benchmark-results

基准测试结果

https://huggingface.co/trohrbaugh/Qwen3.8-27B-heretic-ara#text-performance

文本性能

1. SWE-bench Pro：除使用官方报告分数的 Opus4.6 Max 外，所有模型均使用 Claude Code 框架在 temp=1.0, top_p=0.95, 256K 上下文窗口下评估。对有问题的任务进行了修正，并在细化的基准上对所有基线模型重新进行了评估。
2. NL2Repo-Bench：使用 Claude Code 框架评估。为防止奖励黑客，我们禁用了尝试访问特定仓库的 Bash 命令，如 pip download、pip install 和 git clone。
3. DeepSWE 1.1：使用 Claude Code 框架在 temp=1.0, top_p=0.95, 256K 上下文窗口下评估。
4. QwenSWEBench：用于评估模型软件工程能力的内部编码基准。使用 Claude Code 框架评估。报告 avg@3，超时时间为 8 小时，max_tokens=32,768，temperature=1.0，256K 上下文窗口。
5. CoWorkBench：用于评估计算机科学、金融、法律、医疗和其他生产力领域长期任务的内部协作基准。
6. HLE：由 GPT-4o 评判。
7. 每行的最佳结果以粗体显示。
8. 空单元格（-）表示结果尚不可用或不适用。

https://huggingface.co/trohrbaugh/Qwen3.8-27B-heretic-ara#vl-performance

视觉语言性能

1. MathVision、BabyVision 和 CharXiv (RQ)：在两种设置都可用的情况下，单元格分别报告“无 CI”和“有 CI”；否则，仅显示可用设置。经过手动验证，MathVision 和 CharXiv (RQ) 中少量不正确的 ground-truth 标注已更正，这些基准上报告的所有分数均使用更正后的标注计算。
2. MathVision：Qwen3.8-27B 使用固定提示进行评估：“请一步一步推理，并将最终答案放在\boxed{}内。”对于其余模型，我们报告两个提示变体（一个包含、一个不包含\boxed{}格式要求）中较高的分数。
3. WebArena-Verified：在 OSWorld 脚手架下使用官方 WebArena-Verified 评分器计算分数。
4. RecreationBench：一个内部的长期应用重现基准，旨在评估跨五个平台（桌面端（Ubuntu、macOS 和 Windows）、移动端（Android）和网页端）的混合智能体能力。
5. ClawEval-MM：分数报告为“Pass@3 / 平均分”。Pass@3 是至少在三次试验中一次通过的任务百分比；平均分是三次试验的平均基准分数。
6. Vision2Web：分数在前端、网页和网站类别中取平均值。评估使用 Claude Code 框架，并由gpt-5.4-2026-03-05评判。
7. SWE-MM：在 Claude Code 框架上使用 SWE-bench Multimodal 的公开 dev 分割进行评估，并按照 Claude Opus 4.7 系统卡附录 8.3 中描述的修改进行。
8. 空单元格（-）表示结果尚不可用或不适用。

https://huggingface.co/trohrbaugh/Qwen3.8-27B-heretic-ara#quickstart

快速入门

为简化集成，我们建议通过 API 使用 Qwen3.8。

https://huggingface.co/trohrbaugh/Qwen3.8-27B-heretic-ara#serving-qwen38

部署 Qwen3.8

推理效率和吞吐量因框架而异。我们建议使用最新版本的框架以确保最佳性能和兼容性。对于生产工作负载或高吞吐量场景，推荐使用专用的推理引擎，如 SGLang、vLLM 或 TokenSpeed。

Qwen3.8 可以使用流行的推理框架进行部署，例如：

• SGLang (https://www.sglang.io/)：Qwen3.8 食谱 (https://docs.sglang.io/cookbook/autoregressive/Qwen/Qwen3.8-27B)
• vLLM (https://vllm.ai/)：Qwen3.8 食谱 (https://recipes.vllm.ai/Qwen/Qwen3.8-27B)
• TokenSpeed (https://lightseek.org/tokenspeed/)：Qwen3.8 食谱 (https://lightseek.org/tokenspeed/recipes/models#qwen3-8)

https://huggingface.co/trohrbaugh/Qwen3.8-27B-heretic-ara#api-usage

API 用法

Qwen3.8 模型默认在思维模式下运行，在产生最终响应之前会生成由\n...\n\n标记的思维内容。要禁用思维内容并获取直接响应，请参阅此处的示例 (https://huggingface.co/trohrbaugh/Qwen3.8-27B-heretic-ara#instruct-or-non-thinking-mode)。

我们建议使用以下采样参数组合进行生成：

• 思维模式：temperature=1.0, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=0.0, repetition_penalty=1.0
• 指令模式（或非思维模式）：temperature=0.7, top_p=0.80, top_k=20, min_p=0.0, presence_penalty=1.5, repetition_penalty=1.0

请注意，采样参数的支持因推理框架而异。Qwen3.8 官方支持 reasoning_effort，可用于调整推理深度和控制成本：

• xhigh（默认）：适用于需要彻底分析的复杂任务
• medium：平衡准确性和速度
• low：高效推理，优化速度和成本

此外，为了最佳的开箱即用体验，preserve_thinking 在所有工作负载中默认启用。要禁用保留思维，请参阅此处的示例 (https://huggingface.co/trohrbaugh/Qwen3.8-27B-heretic-ara#disable-preserved-thinking)。

在多轮智能体任务中，较低的推理深度并不总是能减少整体任务完成时间。尽管它可能产生更快的单轮响应，但也可能导致分析不足、更多失败和重复重试，从而可能增加总延迟和 Token 消耗。

https://huggingface.co/trohrbaugh/Qwen3.8-27B-heretic-ara#chat-completions-api

Chat Completions API

Chat Completions API 可与大多数推理框架以及 Qwen Cloud (https://www.qwencloud.com/) 一起使用。 在开始之前，请确保已安装 OpenAI Python SDK 并配置了 API 密钥和 API 基础 URL，例如：

pip install -U openai

# 根据环境设置以下变量
export OPENAI_BASE_URL='your-base-url'
export OPENAI_API_KEY='your-api-key'

https://huggingface.co/trohrbaugh/Qwen3.8-27B-heretic-ara#text-only-input

纯文本输入

from openai import OpenAI

# 通过环境变量配置
client = OpenAI()

messages = [{"role": "user", "content": "Write a Python function to merge two sorted linked lists."}]

completion = client.chat.completions.create(
    model="Qwen/Qwen3.8-27B",
    messages=messages,
    extra_body={
        "chat_template_kwargs": {
            "enable_thinking": True,  # 默认开启
            "preserve_thinking": True,  # 默认开启
        },
    },
    reasoning_effort="xhigh",  # 默认为 xhigh；支持的级别有 xhigh, medium, 和 low
    stream=True,
    stream_options={"include_usage": True},
)

reasoning_content = ""
answer_content = ""
is_answering = False

print("\n" + "=" * 20 + "Reasoning" + "=" * 20 + "\n")
for chunk in completion:
    if not chunk.choices:
        print("\nUsage:")
        print(chunk.usage)
        continue

    delta = chunk.choices[0].delta

    if hasattr(delta, "reasoning_content") and delta.reasoning_content is not None:
        if not is_answering:
            print(delta.reasoning_content, end="", flush=True)
        reasoning_content += delta.reasoning_content
    elif hasattr(delta, "reasoning") and delta.reasoning is not None:
        if not is_answering:
            print(delta.reasoning, end="", flush=True)
        reasoning_content += delta.reasoning

    if hasattr(delta, "content") and delta.content:
        if not is_answering:
            print("\n" + "=" * 20 + "Answer" + "=" * 20 + "\n")
            is_answering = True
        print(delta.content, end="", flush=True)
        answer_content += delta.content

messages.append(
    {
        "role": "assistant",
        "content": answer_content,
        "reasoning_content": reasoning_content,
        "reasoning": reasoning_content,
    }
)

https://huggingface.co/trohrbaugh/Qwen3.8-27B-heretic-ara#image-input

图像输入

from openai import OpenAI

# 通过环境变量配置
client = OpenAI()

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image_url",
                "image_url": {
                    "url": "https://qianwen-res.oss-accelerate.aliyuncs.com/Qwen3.5/demo/CI_Demo/mathv-1327.jpg"
                },
            },
            {
                "type": "text",
                "text": "The centres of the four illustrated circles are in the corners of the square. The two big circles touch each other and also the two little circles. With which factor do you have to multiply the radii of the little circles to obtain the radius of the big circles?\nChoices:\n(A) $\\frac{2}{9}$\n(B) $\\sqrt{5}$\n(C) $0.8 \\cdot \\pi$\n(D) 2.5\n(E) $1+\\sqrt{2}$",
            },
        ],
    }
]

chat_response = client.chat.completions.create(
    model="Qwen/Qwen3.8-27B",
    messages=messages,
)

print("Chat response:", chat_response)

https://huggingface.co/trohrbaugh/Qwen3.8-27B-heretic-ara#video-input

视频输入

from openai import OpenAI

# 通过环境变量配置
client = OpenAI()

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "video_url",
                "video_url": {
                    "url": "https://qianwen-res.oss-accelerate.aliyuncs.com/Qwen3.5/demo/video/N1cdUjctpG8.mp4"
                },
            },
            {
                "type": "text",
                "text": "How many porcelain jars were discovered in the niches located in the primary chamber of the tomb?",
            },
        ],
    }
]

chat_response = client.ch