perplexity-ai/pplx-decider-v1.1-27b · Hugging Face

来源：https://huggingface.co/perplexity-ai/pplx-decider-v1.1-27b

pplx-decider-v1.1-27b 是我们 pplx-decider-v1-27b 模型的更新版本，它将 Decision Index 分数从 56.4 提升到 61.56，在使用相同骨干模型的情况下，现在以超过 3.5 分的优势超越 Jev。大部分提升来自于移除因果掩码以及使用更多数据进行训练，包括来自 tasksource 的数据。

评估

总分采用该评测套件的加权方式，而非各类别的简单平均。

检查点格式与部署

这是原生决策检查点布局：一个 Qwen3\_5Model 骨干模型加上 readout\.safetensors，其中包含一个 BF16 格式的 [255, 5120] 决策头。Transformers 的类名不会改变基础模型身份，即 Qwen3.8-27B。

请使用附带的推理实现以还原评估时的行为：

• 全注意力层使用保存的非因果注意力模式。模型的线性注意力层保留其原生行为。默认的因果推理无法复现该检查点的评估配置。
• 提供的 DecisionModel\.predict 会应用保存的校准温度。直接使用 logits 时，请恰好应用一次，并在当前决策的有效候选集上进行归一化。
• 该模型工件有一个独立的读出头，并非完整词表的 lm\_head。如果部署系统需要 Qwen3\_5ForConditionalGeneration，则需要单独导出，将读出头的第 i 行映射到词表中 decision\_config\.json["token\_ids"][i] 对应的行。该导出还必须保留注意力行为。如果前端会应用温度，请使用上述值。

用法

使用 Python 3.12+、已认证的 Hugging Face 访问权限（该仓库为私有），以及一块有约 49 GiB 权重加工作内存空间的 CUDA GPU。下载仓库并安装其锁定的 requirements\.txt 依赖。

import sys
from pathlib import Path
from huggingface_hub import snapshot_download

checkpoint = Path(snapshot_download("perplexity-ai/pplx-decider-v1.1-27b"))
sys.path.insert(0, str(checkpoint / "source" / "src"))
from autojev.model import DecisionModel, answer

model = DecisionModel(checkpoint, device="cuda")
question = {
    "type": "choice",
    "instructions": "Which team should handle this request?",
    "criteria": {
        "billing": "Charges and refunds",
        "support": "Technical integration errors",
        "sales": "Questions about buying a product",
    },
}
row = {"state": "My integration keeps failing. Please help.", "question": question}
probabilities = model.predict([row])[0]
print(answer(question, probabilities))

图像

将图像作为文件路径、PIL 图像或 data:image/\.\.\.;base64 URL 传入 row["images"]。处理器会在保持宽高比的前提下调整尺寸。每边会四舍五入到 32 px 的整数倍，总面积保持在 256×256（65,536 像素）到 max\_image\_pixels 之间。每个 32×32 的 patch 消耗一个视觉 token，因此一张图像大约消耗 width * height / 1024 个 token。

max\_image\_pixels 默认为 2048×2048（4,194,304 像素，每张图 ≤4,096 个 token）。更大的图像会自动缩小，因此无需自行调整尺寸。如需降低或提高上限：

model = DecisionModel(checkpoint, device="cuda", max_image_pixels=1600 * 1000)

请注意：

• 一个决策的所有文本和图像必须符合 prepare 的 8,192 token 限制。超出限制的输入会被拒绝而非截断。如果每个决策包含多张图像，请降低 max\_image\_pixels 或先缩小图像。
• 训练和报告中的评估将图像上限设为 512×512（262,144 像素，≤256 个 token）。更高的分辨率能保留更多细节，但超出了训练分布范围，且会增加内存和延迟开销。如需精确复现评估配置，请使用 max\_image\_pixels=512 * 512。
• 如果自行调整图像尺寸，请对两边使用相同的缩放因子 min(1, sqrt(max\_image\_pixels / (width * height))) 以保持宽高比。

source/src/autojev/model\.py 是评估训练运行的代码，仅有一处修改：图像尺寸上限现在是可配置的 max\_image\_pixels，此前硬编码为 512×512 像素。release\-manifest\.json 记录了文件校验和及检查点来源。

致谢

很大一部分提升得益于 tasksource 的数据。如果您也使用了该数据，请考虑引用相应论文：

@inproceedings{sileo-2024-tasksource,
    title = "tasksource: A Large Collection of {NLP} tasks with a Structured Dataset Preprocessing Framework",
    author = "Sileo, Damien",
    booktitle = "Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024)",
    month = may,
    year = "2024",
    address = "Torino, Italia",
    publisher = "ELRA and ICCL",
    url = "https://aclanthology.org/2024.lrec-main.1361",
    pages = "15655--15684",
}

我们的数据流水线还基于 Bespoke Labs 的 Bespoke Nimble 构建。pplx-decider-v1-27b 的数据流水线围绕人工标注的公开数据集构建，我们使用 Nimble 的转换器将其转换为 Choice 和 Noul 决策。v.1.1 新增了大量数据，因此经 Nimble 转换的数据现在只占训练集的一小部分。我们还使用了 Nimble 发布的基准子集（按记录 ID 和校验和锁定），以确保这些基准记录及相关样本不进入训练。构建数据时 Nimble 以固定修订版下载，且不在此重新分发。如果您使用了该部分流水线，请同时引用 Nimble：

@misc{nimble2026,
  author = {{Bespoke Labs} and Sathiamoorthy, Maheswaran},
  title = {Nimble},
  year = {2026},
  howpublished = {\url{https://github.com/bespokelabsai/nimble}},
  note = {Model: https://huggingface.co/bespokelabs/Bespoke-Nimble-9B}
}