IQuestLab/IQuest-Q1 · Hugging Face 来源：https://huggingface.co/IQuestLab/IQuest-Q1 由 IQuest 开发 GitHub：IQuest-Q1 (https://github.com/IQuestLab/IQuest-Q1) Hugging Face：IQuest-Q1 (https://huggingface.co/IQuestLab/IQuest-Q1) 简介 (https://huggingface.co/IQuestLab/IQuest-Q1#model-introduction)·性能表现 (https://huggingface.co/IQuestLab/IQuest-Q1#performance)·快速开始 (https://huggingface.co/IQuestLab/IQuest-Q1#quick-start)·部署 (https://huggingface.co/IQuestLab/IQuest-Q1#deployment)·局限性 (https://huggingface.co/IQuestLab/IQuest-Q1#limitations)·联系我们 (https://huggingface.co/IQuestLab/IQuest-Q1#contact-us) — ## 简介 IQuest-Q1 是由 IQuest 开发的混合专家模型，专为智能体编码、推理和多步骤工具使用而设计。它包含约 3200亿总参数，每个token激活约 150亿参数。 IQuest-Q1的训练流程。 IQuest-Q1的后训练流程。 ### 模型规格 属性 IQuest-Q1 总参数 320B 激活参数 15B Transformer层数 88 隐藏维度 3,072 注意力头数 (Q/KV) 48/8 头维度 128 混合注意力模式 3 SWA + 1 FA 滑动窗口大小 4,096 部分RoPE维度 32 专家数（总/激活） 256/8 MTP层数 2 独立（训练） / 1 递归 x8 （推理） MTP滑动窗口大小 512 （推理） 上下文长度 524,288 ## 性能表现 IQuest-Q1在各项基准测试中的表现。DeepSeek-V4-Flash/Pro分别指0731/0813官方版本。Humanity’s Last Exam报告为无工具结果。IQuest-CLIBench是我们内部的CLI用户体验基准测试。 ### 基准测试说明 为了可复现性，我们建议使用温度1.0、top-p 0.95、top-k 20，并以Claude Code 2.1.140 或 Codex 0.142 作为运行工具。对于每个模型，我们报告公开的分数；否则，我们使用相应的基准测试配置进行评估：(1) 运行工具：对于智能体编码任务，我们对DeepSWE v1.1使用mini-SWE-agent，对其他任务使用Claude Code。对于Agents’ Last Exam，我们使用Claude Code 2.1.258 评估我们的模型。由于我们的模型目前没有多模态能力，我们在tokenization期间用占位符替换智能体对话中的多模态内容输入。(2) 运行时间：我们为CyberGym设置6小时限制，为Terminal-Bench 2.1设置8小时限制。 ## 快速开始 按照部署部分的描述启动服务器，使用pip install openai安装客户端，然后调用OpenAI兼容的API： from openai import OpenAI client = OpenAI(base_url="http://127.0.0.1:8000/v1", api_key="sk-iquest") response = client.chat.completions.create( model="IQuest-Q1", messages=[ {"role": "user", "content": "你好！能简要介绍一下自己吗？"}, ], temperature=1.0, top_p=0.95, ) print(response.choices[0].message.content) ## 部署 对于生产部署，我们推荐使用SGLang或vLLM。 ### SGLang 使用我们预构建的镜像 iquestlabworkspace/sglang-iquest-q1:cu130 (https://hub.docker.com/repository/docker/iquestlabworkspace/sglang-iquest-q1/tags/cu130/)： docker pull iquestlabworkspace/sglang-iquest-q1:cu130 # 不启用MTP MODEL_ROOT="$(hf download IQuestLab/IQuest-Q1 --quiet)" && \ python -u -m sglang.launch_server \ --model-path "$MODEL_ROOT" \ --served-model-name IQuest-Q1 \ --tp-size 8 \ --dtype bfloat16 \ --attention-backend fa3 \ --mem-fraction-static 0.85 \ --disable-prefill-cuda-graph \ --enable-metrics \ --tool-call-parser iquest_q1 \ --reasoning-parser iquest_q1 \ --enable-torch-compile \ --load-format fastsafetensors \ --speculative-use-rejection-sampling # 启用递归MTP MODEL_ROOT="$(hf download IQuestLab/IQuest-Q1 --quiet)" && \ python -u -m sglang.launch_server \ --model-path "$MODEL_ROOT" \ --served-model-name IQuest-Q1 \ --tp-size 8 \ --dtype bfloat16 \ --attention-backend fa3 \ --mem-fraction-static 0.85 \ --disable-prefill-cuda-graph \ --enable-metrics \ --tool-call-parser iquest_q1 \ --reasoning-parser iquest_q1 \ --speculative-algorithm EAGLE \ --speculative-num-steps 5 \ --speculative-eagle-topk 1 \ --speculative-num-draft-tokens 6 \ --speculative-draft-model-path "$MODEL_ROOT/mtp" \ --enable-torch-compile \ --load-format fastsafetensors \ --speculative-use-rejection-sampling \ --speculative-draft-attention-backend fa3 ### vLLM 使用我们的镜像 iquestlabworkspace/vllm-iquest-q1:cu130 (https://hub.docker.com/repository/docker/iquestlabworkspace/vllm-iquest-q1/tags/cu130/)： docker pull iquestlabworkspace/vllm-iquest-q1:cu130 # 不启用MTP MODEL_ROOT="$(hf download IQuestLab/IQuest-Q1 --quiet)" && \ vllm serve "$MODEL_ROOT" \ --served-model-name IQuest-Q1 \ --tensor-parallel-size 8 \ --reasoning-parser iquest_q1 \ --enable-auto-tool-choice \ --tool-call-parser iquest_q1 # 启用递归MTP MODEL_ROOT="$(hf download IQuestLab/IQuest-Q1 --quiet)" && \ vllm serve "$MODEL_ROOT" \ --served-model-name IQuest-Q1 \ --tensor-parallel-size 8 \ --reasoning-parser iquest_q1 \ --enable-auto-tool-choice \ --tool-call-parser iquest_q1 \ --enable-prefix-caching \ --speculative-config '{ "method": "eagle", "model": "'"$MODEL_ROOT"'/mtp", "num_speculative_tokens": 5, "draft_sample_method": "probabilistic", "rejection_sample_method": "standard", "enforce_eager": false }' ### 工具使用与智能体集成 使用支持通过 Anthropic Messages 进行工具调用的网关用于 Claude Code，和通过 OpenAI Responses 进行工具调用的网关用于 Codex。 #### Claude Code 我们推荐版本 2.1.140，IQuest-Q1[1m] 客户端设置不改变512K上下文限制。 export ANTHROPIC_MODEL="IQuest-Q1[1m]" export ANTHROPIC_DEFAULT_SONNET_MODEL="IQuest-Q1[1m]" export ANTHROPIC_DEFAULT_OPUS_MODEL="IQuest-Q1[1m]" export ANTHROPIC_DEFAULT_HAIKU_MODEL="IQuest-Q1[1m]" export CLAUDE_CODE_SUBAGENT_MODEL="IQuest-Q1[1m]" export CLAUDE_CODE_MAX_OUTPUT_TOKENS="131072" export CLAUDE_AUTOCOMPACT_PCT_OVERRIDE="80" export CLAUDE_CODE_AUTO_COMPACT_WINDOW="524288" export API_TIMEOUT_MS="3000000" export CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC="1" export CLAUDE_CODE_DISABLE_EXPERIMENTAL_BETAS="1" export ANTHROPIC_BASE_URL="http://example-iquest-q1-link" export ANTHROPIC_AUTH_TOKEN="sk-iquest-q1" claude --model IQuest-Q1 #### Codex CLI 我们推荐版本 0.142.0。 export OPENAI_API_KEY="sk-iquest-q1" export MODEL_ID="IQuest-Q1" # 如果您的网关Responses端点需要，添加 /v1。 export BASE_URL="http://example-iquest-q1-link" ( set -eu CONFIG_DIR="${HOME}/.codex" mkdir -p -- "$CONFIG_DIR" CONFIG_DIR="$(cd -- "$CONFIG_DIR" && pwd -P)" # 替换前备份现有文件。 BACKUP_SUFFIX="$(date +%Y%m%d-%H%M%S)-$$" for FILE in config.toml model_catalog.json; do if [ -f "$CONFIG_DIR/$FILE" ]; then cp -p -- "$CONFIG_DIR/$FILE" "$CONFIG_DIR/$FILE.bak.$BACKUP_SUFFIX" fi done # 此配置禁用审批提示和沙箱。 cat > "$CONFIG_DIR/config.toml" << 'EOF' model = "IQuest-Q1" model_provider = "openai" preferred_auth_method = "api_key" api_base_url_env_var = "BASE_URL" api_key_env_var = "OPENAI_API_KEY" model_id_env_var = "MODEL_ID" show_warning_when_using_default_api_key = false enable_reasoning_summary = true EOF cat > "$CONFIG_DIR/model_catalog.json" << EOF { "models": { "$MODEL_ID": { "model": "$MODEL_ID", "provider": "openai", "reasoning_summary": true } } } EOF ) echo "Codex CLI 已配置为使用 IQuest-Q1。"